El barri es troba localitzat a la part meridional del districte de Chûô, a la ciutat d'Osaka. El terme del barri té forma rectangular i allargada, limitant al nord amb els barris de Kanzaki-chō, Jūniken-chō, Tani-machi (barri el qual divideix en dues parts) i Ryūzōji-chō. A l'oest limita amb Matsuya-machi-Sumiyoshi i amb Matsuya-machi; mentres que a l'est limita amb Ue-machi. Al sud, el barri limita amb Tani-machi (la seua segona part) i Ue-Hon-machi-Nishi.[3]
Es creu, tot i que no ha estat confirmat, que el nom del barri prové d'una toponímia anomenada "Azumiji" (安曇寺) esmentada al Nihon Shoki i que amb el temps hauria evolucionat fins a la forma actual. També se creu que el nom es deu al clan Azumi, poble guerrer establit al proper altiplà d'Uemachi.[5] La zona anomenada Andôji-machi és avui dia més xicoteta que al seu origen. L'any 1872, el barri s'organitza en cinc sub-barris (només dos d'ells romanen en l'actualitat) i el 1879 el barri s'integra al ja desaparegut districte de Minami de la ciutat d'Osaka. L'any 1943 un sub-barri es transferit a l'antic districte de Higashi, el qual més tard, el 1982 passa a formar l'actual barri d'Andôji-machi. Els tres sub-barris restants van passar a formar part del barri de Minami-Senba.
