Levitt, dessen Vater Arthur Levitt senior von 1955 bis 1978 New York State Comptroller und dessen Mutter Grundschullehrerin war, absolvierte nach dem Besuch der Polytechnic Preparatory Country Day School in Brooklyn ein grundständiges Studium am Williams College, das er 1952 mit einem Bachelor of Arts (B.A.) abschloss. Während des Studiums wurde er Mitglied der akademischen Gesellschaft Phi Beta Kappa.
Nach Ableistung des Militärdienstes in der US Air Force war Levitt in verschiedenen Funktionen in der Privatwirtschaft tätig, ehe er zwischen 1978 und 1989 Vorsitzender des Aufsichtsrates der American Stock Exchange. 1986 wurde er Eigentümer der Zeitung Roll Call, die sich überwiegend mit der Berichterstattung zum US-Kongress befasst. 1989 erwarb er darüber hinaus das 1924 gegründete Kulturmagazin Stagebill.
Levitt, der zwischen 1989 und 1993 Aufsichtsratsvorsitzender der Wirtschaftsentwicklungsgesellschaft von New York NYCEDC (New York City Economic Development Corporation) war, wurde am 27. Juli 1993 von US-PräsidentBill Clinton als Nachfolger von Richard C. Breeden zum Vorsitzenden der Securities and Exchange Commission SEC ernannt, der Bankenaufsichtsbehörde der USA. Diese Funktion bekleidete er bis zum 9. Januar 2001 und wurde später durch Harvey Pitt abgelöst.