Szülei Hatvany Bertalan és Maria Vera Hesselberger voltak, akik a gyermek négy éves korában külön költöztek, öt éves korában pedig elváltak. József az apjánál nevelkedett. Jómódban nőtt fel, és tíz éves korára folyékonyan beszélt angolul, franciául és németül. Az elemi iskola elvégzése után a Budapesti Magyar Királyi Középiskolai Tanárképző Intézet Gyakorló Gimnáziumában tanult, ahol egyik osztálytársa Lax Péter volt. A zsidótörvények hatására apja 1938 nyarán beadta Józsefet egy angliai bentlakásos iskolába Oundle-ban, ő maga pedig távolkeleti útra indult.
Hatvany József a Cambridge-i Egyetemen folytatta tanulmányait, ahol közel került a kommunista eszmékhez, és megismerkedett későbbi feleségével, Doris Elrickkel. 1947 nyarán megbukott a záróvizsgán, és jövendő feleségével együtt Magyarországra költözött. Hazatérése után a Magyar Mérnökök és Technikusok Szabad Szakszervezetében az Oktatási Osztály vezetője lett. 1948–1950 között a Magyar Közgazdasági Egyetem docense volt. 1952–1956 között koholt vádak alapján börtönbe zárták. 1956 és 1960 között előbb az MTA elnökségi titkárságának vezetője, majd az MTA Kibernetikai Kutatócsoportjának (KKCS) munkatársa volt annak megszűnéséig. Ezután az MTA Méréstechnikai Központi Kutató Laboratóriumban dolgozott. 1965-től az Automatizálási Kutató Intézetben (AKI), majd az abból 1973-ban megalakult Számítástechnikai és Automatizálási Kutatóintézetben (SZTAKI) a gépipari automatizálás kérdéseivel, a számjegyvezérlésű (NC) szerszámgépekkel és a számítógéppel vezérelt tervezés (Computer Aided Design, CAD) kutatásával foglalkozott.