Narodil se v České Třebové, vyučil se během tříleté praxe v obchodě se smíšeným zbožím v Broumově. Následně odešel do Prahy, po dobu šesti let pracoval v prodejnách lamp Dittmar a obchodu s kloboukyMueller.
V roce 1878 zakoupil s bratrem Antonínem za poměrně nízkou částku dům a obchod s nitěmi a hračkami, někdejší pivovar, U Štajgrů ve Vodičkově ulici na Novém městě pražském. Na parcele kdysi stál dům a obchod řezníka Vodičky, po kterém nese ulice název. Obchod bratři zakoupili od těžce nemocného majitele, který tři dny po transakci zemřel. Obchod bratři zaměřili pouze na prodej textilu. Po smrti Antonína Nováka přebírá Josef vedení podniku, zdárně jej rozvíjí a rozšiřuje sortiment též na krejčovství a módu.
Od roku 1889 je veden jako pražský měšťan. Roku 1891 se oženil s Marií Vančurovou. V roce 1903, v rámci oslav 25 let firmy, založil pro své zaměstnance penzijní fond a vložil do něj 10 000 rakouských korun. Byl členem řady veřejných dobročinných spolku a podporovatelem českého vlasteneckého hnutí.
Palác U Nováků
Koncem 19. století nabyl Josef Novák velkého majetku. Skoupil parcely v přilehlém okolí a zadal si u architekta Osvalda Polívky stavbu multifunkčního secesního paláce U Nováků s pasáží (teprve druhou v Praze), obchodem a zázemím, kancelářemi, sportovnami, hernou a divadlem U Nováků pro 700 diváků a kabaretním sálem. Stavba probíhala v letech 1901 až 1904. Roku 1912 ji dozdobil malíř Jan Preissler nástěnnou alegorickoufreskouObchod a Průmysl.
Úmrtí
Josef Novák zemřel 28. srpna 1906 v Čáslavi ve věku 51 let. Pohřben byl v honosné secesní hrobce od Ludvíka Šaldy na Olšanských hřbitovech.
Po jeho smrti se vdova Marie Nováková provdala za obchodníka Ondřeje ?Dymla, spolumajitele obchodu. Na vedení firmy se dále podílel též Josef Novák mladší.
Rodinný život
Novák se 14. prosince 1891 v Nebovidech u Kolína oženil s o patnáct let mladší Marií Vančurovou, původem z Močovic u Čáslavi. Roku 1892 se jim narodil syn Josef.
