Po dokončení studií na gymnáziu nastoupil do otcových továren na bavlnu, kde až do roku 1873 zastával různé funkce. Poté byl podnik přeměněn na akciovou společnost a Josef se na několik let stal prezidentem představenstva.
Jeho manželka Rosa zakoupila na Novém Městě pražském bývalý Desfourský palác, který dnes nese jméno palác Porgesů z Portheimu. Porgesové objekt vlastnili až do doby nacistické okupace.