Stefan studeerde sinds 1853 in Wenen en promoveerde er in 1858 op wiskundige natuurkunde. Op 25-jarige leeftijd werd hij corresponderend lid van de academie van wetenschappen. In 1863 werd hij natuurkundeprofessor aan de universiteit van Wenen en in 1866 directeur van het Physikalische Institut. Hij richtte in 1869 met Heinrich Hlasiwetz de "Chemisch Physikalische Gesellschaft" op. Tien jaar lang (1875-1885) was Štefan secretaris van de mathematisch-natuurwetenschappelijke Klasse van de Academie van Wetenschappen in Wenen.
Het grootste onderzoeksinstituut van Slovenië is naar hem vernoemd: het Jožef Stefan-instituut in Ljubljana. Vanwege zijn Sloveense gedichten wordt hij in Slovenië behalve als wetenschapper ook als dichter geëerd.