Йозеф Голуб народився в місті Млада-Болеслав5 лютого1930 року. Навчався в Карловому університеті у Празі, який закінчив у 1953 році. Згодом став професором Карлового університету. Голуб був одним із засновників Інституту ботаніки, де він працював протягом майже усього життя. За його участі було створено журнал Folia Geobotanica & Phytotaxonomica, який випускають із 1966 року. Голуб працював у його редакції протягом 30-ти років.
У 1960-х роках займався підготовкою до випуску геоботанічної карти Чехословаччини. Йозеф був ініціатором випуску Червоного списку Чехословаччини й одним з основних авторів Червоних книг Чехії та Словаччини (1999).
У 1990 році Голуб став головним редактором журналу Чеського ботанічного товариства Preslia, змінивши на цій посаді Зденека Чорногорського, через рік був обраний президентом самого Товариства.
Йозеф Голуб помер 23 липня1999 року поблизу Млада-Болеслава.
Авторству Голуба належать розділи книг Flora Europaea та Flora of Turkey, присвячені злакам триби Aveneae, роду Glyceriaта складноцвітим триби Filagineae.
Він працював в редакції книг Flora Iberica, Flora Europaea, а також одного з видань Flora von MitteleuropaҐустава Геґі. У Flora of the Czech Republic Голуб повністю переробив систематику родів Rubus та Crataegus. Також Голуб займався дослідженням таких таксономічно складних родів, як Epilobium, Gentianella та Heracleum.
Крім квіткових рослин Голуб також переробив систематику роду плауноподібних Huperzia, а також запропонував внутрішньородову класифікацію роду хвощ Equisetum. Голуб займався також вивченням родинних зв'язків родів папоротей Dryopteris, Lastraea та Thelypteris.
Окремі наукові публікації
Holub, J. Floristische Materiale aus dem Hügellande Fil'akovská. — Bratislava, 1965. — 90 p.
Holub, J. Übersicht der höheren Vegetationseinheiten der Tschechoslowakei. — Praha, 1967. — 75 p.
Holub, J. Taxonomic and floristic progress on the Czechoslovak flora and the contribution of Czechoslovak authors to knowledge of the European flora (1961-1972). — Coimbra, 1974. — P. 174—352.
Holub, J. Problémy fytogeografických členění zemského povrchu. — Praha, 1976. — 102 p.
Holub, J. K problematice českého odborného jmenosloví rostlin. — Praha, 1979. — 177 p.
Holub, J. Mizející flóra a ochrana fytogenofondu v ČSSR. — Praha, 1981. — 176 p.
Holub, J. Sedmdesát let Československé botanické společnosti. — Praha, 1982. — 146 p.