El districte de Yamashina es troba localitzat a la part més oriental, al sud-est, de la ciutat de Kyoto. Geogràficament, Yamashina es troba aïllada de la resta de la ciutat de Kyoto per les muntanyes que l'envolten, ja que es troba al bellmig de la foia de Yamashina, sent accessible només per tunels o ports de muntanya. Pel districte flueixen el canal del llac Biwa i el riu Yamashina. El terme del districte de Yamashina limita amb els d'Ōtsu, a la prefectura de Shiga, a l'est; amb el districte de Fushimi al sud; amb el districte de Higashiyama a l'oest i amb el districte de Sakyō al nord.
Històricament, la zona geogrèfica que actualment ocupa el districte de Yamashina ha format part de l'antiga província de Yamashiro des de, com a poc, el període Heian fins a la fi del període Edo. A Yamashina es troba el mausoleu de l'Emperador Tenji, el més antic que es conserva a Kyoto. La zona va començar a destacar durant el període Edo, quan es convertí en una postaTōkaidō o "camí de la mar oriental" i també com a punt de connexió entre les províncies de Yamashiro i Ōmi.
Després de la restauració Meiji, l'1 d'abril de 1889 es creà el poble de Yamashina dins de l'actualment desaparegut districte d'Uji com a fruit de la fusió de diversos petits pobles (vore la secció "barris"). El 16 d'octubre de 1926, Yamashina va passar a tindre la consideració legal de vila. La vila de Yamashina va ser absorbida l'1 d'abril de 1931 per la ciutat de Kyoto, restant automàticament part del districte urbà de Higashiyama. Tot i que el 1951 el govern districtal de Higashiyama va instal·lar una sucursal a Yamashina, l'autonomia total no arribà fins que l'1 d'octubre de 1976 es constituí l'actual districte de Yamashina com una escissió de Higashiyama.