Narodil se v rodině mistra v huti, po absolvování Učitelského ústavu v Soběslavi (1879) působil krátce jako učitel obecných škol ve Slaném, Malšicích, Chýnově a od roku 1885 pak v Sezimově Ústí (tehdy se ještě obec jmenovala Starý Tábor).
Kromě své učitelské práce se po roce 1894 věnoval – ovlivněn táborským historikem profesorem Martinem Kolářem - středověké a pravěké archeologii a jeho výzkumy mohyl a dvou míst spojených s husitskou minulostí – Sezimovo Ústí a Kozí Hrádek – mu přinesly značnou proslulost. Právě jeho zásluhou a vlastní obětavou a těžkou prací bylo v roce 1899 pokračováno v odkrývání Kozího Hrádku (od r. 1899), v obci vzniklo místní muzeum (r.1929) a svojí autoritou a úsilím se zasloužil o přeměnu názvu obce ze „Starý Tábor“ na Sezimovo Ústí. Také se podílel na vykopávkách a výzkumu na vrchu „Tábor“ – Burkovák poblíž Bechyně.
Bohatý byl také jeho veřejný a spolkový život : stál u založení (r. 1922) a byl prvním předsedou "Společnosti pro zachování husitských památek" a u vzniku odborného "Jihočeského sborníku historického“, který pak v Táboře vycházel až do padesátých let; byl předsedou učitelské jednoty Komenský v Táboře, předsedou kulturního odboru a posléze i náměstkem starosty Zemského ústředního spolku jednot učitelských v Čechách a zástupcem učitelstva v okresní školní radě.
V budově 3.ZŠ Sezimovo Ústí se (2007) připravuje pamětní síň Josefa Švehly; mnoho let je na budově pamětní deska s textem „Zde žil a působil 1885 – 1925 Josef Švehla pedagog, spisovatel, buditel“.