Народився 17 березня 1904 в небагатій єврейській родині або в Коломиї або у Волове[6][7], нині смт. Міжгір'я. З дитячих років захоплювався мистецтвом, навчався в художній школі у Відні. У 1921 році емігрував до США, де продовжив навчання в Інституті мистецтв у відомої викладачки Елі Надельман[en] та в Студентській Арт Лізі Нью-Йорка у Роберта Лаурента.
Вперше представив свої скульптури та графічні роботи в 1935. У 1949 був одним з 250 художників, що представляли свої роботи на третій Міжнародній Скульптурній виставці в Музеї мистецтв Філадельфії.
В 1935 познайомився з Луїзою Невельсон, яка стала одним із тих художників Америки, «які змінили наше бачення світу», — зауважував американський мистецтвознавець Крамер Хілтон. В роки перед Другою світовою війною вона навчалась у школі Хаїма Гросса. Він був захоплений її талантом і передрік, що Луїза стане в майбутньому великим скульптором.
Був професором різних мистецьких шкіл Америки, а також одним із засновників і першим президентом Гільдії скульпторів (Sculptors Guild[en]). Як і багато інших євреїв-художників Америки, займався виготовленням медалей.
Твори Хаїма Гросса зберігаються в провідних американських музеях та приватних збірках.
Мімі Гросс
Мистецькою дорогою батька пішла його дочка Мімі Гросс[en]. Перша персональна виставка її творів відбулася в Асоціації Мистецтв Америки у 1957 році. З поміж інших проектів художниці — співпраця з танцівником Дугласом Дуном, для якого вона проектувала костюми до 18 танців.