Gráber Károly trencséni születésű, izraelita vallású, királyi járásbírósági végrehajtó és Schmidt Gizella fia. Tizenhét éves korában beiratkozott a Színművészeti Akadémiára, majd 1899 júliusában a Vígszínház tagja lett, ahol ez év szeptember 4-én mutatkozott be A férj vadászni jár című vígjáték Gontrand szerepében. Sikeres volt vígjátéki színészként, azonban nemsokára énekessé képezte ki magát és elszerződött a Népszínházhoz, ahol ekkor Porzsolt Kálmán volt az igazgató. Itt a többi közt Eisensteint énekelte A denevérben, Parist a Szép Helénában, Pálmay Ilka oldalán. 190 szeptemberében elszerződött az Operaházhoz, lírai tenoristának. De hamarosan elutazott Olaszországba tanulmányútra, majd Berlinbe ment és külföldi útjáról tudósításokat írt a Pesti Naplóba. 1913-ban hazatért, s nagyon sokszor énekelt egy-egy szezonban és igen jelentékeny sikereket aratott hajlékony, szép hangjával, páratlan muzikalitásával mind lírai, mind Wagner-szerepekben. 1916-ban állandó vendégként leszerződött a Vígszínházhoz. 1925 júliusában az Operaház rendezője lett. Parsifáltól, Tannhäusertől, a Nürnbergi mesterdalnokok Dávidjától lefelé mindent énekelt. Amikor 1922-ben az Operaház olyan anyagi bajokkal küzdött, hogy sehonnan sem tudta fedezni veszteségeit, akkor Gábor nyakába vette a várost, és mindent elkövetett, hogy pénzt szerezzen az Operaháznak. Megalapította az Operaház barátainak társaságát és e társaság tagjainak anyagi hozzájárulásával megakadályozta, hogy bezárják az intézményt. Egy sereg embert megmentett a B-listától, attól, hogy hirtelen kenyér nélkül maradjanak. Gábor József tökéletesen tudott olaszul. Műfordító is volt; ő fordította le Lengyel MenyhértTaifun című drámáját, amelyet ebben a fordításban játszottak Olaszországban.
Felesége Magaziner Renée (1884–1941) volt, Magaziner Dávid és Büchler Ilona lánya, akivel 1907. július 16-án Budapesten kötött házasságot.[3] Gyermekük Gábor Zsuzsanna (1909–1985), férjezett Steiner Ferencné.