Nuo 1919 m. rugpjūčio pradėjo dirbti Kauno valstybinės ligoninės Chirurgijos skyriaus vedėju. 1919 m. išrinktas pirmuoju žurnalo „Medicina" redaktoriumi. 1920 m. jis daug prisidėjo organizuodamas Aukštuosius kursus Kaune. Kursų Medicinos skyriuje dėstė chirurgiją. Nuo 1922 m. iki 1935 m. rugsėjo 1 d. dirbo Kauno karo ligoninės Chirurgijos skyriaus vedėju. Nuo 1935 m. rugsėjo iki 1939 m. balandžio dirbo KlaipėdosRaudonojo Kryžiaus ligoninės Chirurginio skyriaus vedėju. 1939 m. balandžio 27 d. vėl mobilizuotas į Lietuvos kariuomenę, grįžo dirbti į Kauno karo ligoninę chirurgijos skyriaus konsultantu.
Nuo 1941 m. dirbo Panevėžio apskrities ligoninės vedėju ir chirurginio skyriaus vedėju. 1941 m. birželio 26 d. besitraukiančių sovietinių okupantų apkaltintas ir su kitais dviem Panevėžio apskrities ligoninės gydytojais nužudytas NKVD Panevėžyje, Vasario 16-sios g., NKVD būstinės rūsyje. Nužudytų gydytojų kūnai rasti Vokietijos kariuomenei 1941 m. birželio 27 d. užėmus Panevėžį. Gydytojų palaikai buvo 1941 m. birželio 27 d. pašarvoti Panevėžio Katedroje, o 1941 m. birželio 29 d. iškilmingai palaidoti Panevėžio Ramygalos g. kapinėse. 1943 m. rugsėjo 19 d. atidengtas skulptoriaus B. Bučo paminklas nužudytiems gydytojams. Palaikai buvo ekshumuoti 1941 m. spalio mėn. tyrimams, kuriuos atliko Vytauto Didžiojo universiteto klinikų direktorius profesorius K. Oželis ir asistentas daktaras Minelga. Po tyrimų palaikai buvo palaidoti Kauno Panemunės kapinėse.
Juozas Žemgulys parašė medicinos knygas: „Trumpas karo lauko chirurgijos vadovėlis" (1932 m.), „Karo sanitarijos tarnyba divizijos skaidinyje" (1929 m.), skelbė straipsnius chirurgijos tematika. Aktyviai dalyvavo Lietuvos šaulių sąjungos veikloje.