Храм расположен на холме Атаго, который находится на высоте 26 метров над уровнем моря. В древние времена у храма был превосходный вид на Токио, который в наши дни затенён высотными зданиями. Крутые лестницы, ведущие к святыне, также представляют успех в жизни.
Согласно легенде, молодой самурай осмелился подняться на коне вверх по лестнице, чтобы доставить сёгуну цветы сливы. Его лошади потребовалась всего одна минута, чтобы взойти, и 45 минут, чтобы спуститься, после чего лошадь была полностью истощена.
Храм был возведен для защиты жителей от огня, так как его ранее превосходный вид был хорошо приспособлен для наблюдения за пожарами, и поэтому основным синтоистским богом, которому поклоняются в этом храме, является бог огня Хомусуби но Микото. К числу других богов, которым здесь поклоняются, относятся также Мидзуханомэ но Микото (бог воды), Оямадзуми но Микото (бог гор) и Ямато Такэру но Микото (бог военных).