Hart lahir di New York City dari pasangan Barnett Hart, seorang pembuat rokok, dan Lillian Solomon.[1][2] Ia memiliki seorang adik, Bernard.[3] Keluarganya dibesarkan dalam keadaan yang relatif miskin dengan orang tua imigran Yahudi kelahiran Inggrisnya di the Bronx dan Sea Gate, Brooklyn.[4]
