Рођен је 8. новембра 1915. у Литији. Борштнар је ушао у Напредни раднички покрет као слушалац Железничке саобраћајне школе у Београду. При завршетку школе постао је отправник возова у Рајхенбургу, где је постао партијски руководилац.
Након упада италијанскихфашистичких трупа у Долењску и Белу Крајину, железничари су се припремали за оружани отпор. Јоже након тога одлази у Ново Место, повезује напредне снаге са Ослободилачким фронтом и ради на стварању партизанских јединица. Добио је позив партије, у пролеће 1941. године, неки од железничара одлазе у партизане. Међу првима је био Борштнар, који је водио организацију отпора против окупатора.
Борштнар се посебно истакао и убзо је постао војни руководилац. Од октобра 1941. до јуна 1942. је био члан Окружног комитета КПЈ за Белу Крајину, а након тога и политички комесар Белокрајинског партизанског одреда. Од тада се непрекидно налазио у борбеним јединицама Народноослободилачке војске. Из Белокрајинског одреда прешао је у Бригаду, где је до јула 1943. године био политички комесар.
Радио је по свим крајевима Словеније. Истакао се у борби у Долењској и Белој Крајини. Године 1944. отишао је у Штајерску. Као политички комесар, а затим командант Четврте оперативне зоне. Пошто су јединице ојачане новим борцима, Јоже прави промену у систему вођења борби. Почело је систематско ослобођење територије. Под његовом командом су јединице врло брзо ослободиле Савињску долину. Јоже је такође био и борац који је учествовао у најтежим борбама.
У августу 1944. године предложен је за команданта Деветог корпуса у Приморску. Најтежи задаци су били припремање напада на Трст и испитивање могућности за продирање јединица. У пробоју непријатељског обруча у Војсци код Идрије, Јоже је са својим саборцима кренуо у јуриш на утврђене непријатељске положаје. Штаб Деветог корпуса успео је да усмери поход јединица према Трсту. Тако је пружена велика помоћ јединицама Четврте армије у тешким борбама.