Di orientamento politico repubblicano, ebbe i suoi primi incarichi pubblici di rilievo con l'amministrazione del presidente Eisenhower in qualità di capo gabinetto dal 1954 al 1959.[1] Successivamente, e fino al 1981, fu avvocato in uno studio legale di New York.[2]
Rabb, che si era impegnato efficacemente nello Stato di New York a favore di Ronald Reagan nelle primarie del Partito Repubblicano e nelle successive elezioni presidenziali,[3]
nel 1981 fu poi nominato dal nuovo presidente ambasciatore in Italia. Presentò le sue credenziali il 1º luglio 1981, succedendo a Richard N. Gardner.
Rabb rimase in carica per otto anni fino al 3 giugno 1989 quando, con l'elezione del nuovo presidente George H. W. Bush, fu sostituito da Peter F. Secchia.
Tornato negli Stati Uniti, Rabb riprese l'attività legale. Fu membro dei Consigli di amministrazione di varie società, istituti finanziari e organizzazioni di assistenza fra cui la Data Systems & Software (società informatica), la Sterling Bancorp (servizi bancari e finanziari), la Lighthouse Guild (riabilitazione e assistenza legale per i non vedenti).[1]
Morì a novantuno anni a New York per i postumi di una caduta avvenuta mentre si recava nel suo studio legale.[3]