Буддийское заглавие храма — Хоодзан (яп. 鳳凰山, «Гора фениксов»).
Дзимоку-дзи был построен в 597 году, на 5-м году правления правителя Суйко, после того, как ныряльщик с Исе по имени Хадамэ Тацумаро (яп. 甚目竜麻呂) нашёл в море изображение бодхисаттвы Каннон.
Расцвет храма пришёлся на XIII век, период Камакура.
