Über die Jugendjahre von Arthur Levitt senior ist nichts bekannt. Er diente während des Ersten und Zweiten Weltkrieges in der US-Army. Zuletzt bekleidete er den Dienstgrad eines Colonels. Er studierte Jura und begann nach dem Erhalt seiner Zulassung als Anwalt zu praktizieren. Bei den Wahlen im Jahr 1954 wurde er zum New York State Comptroller gewählt und in den Jahren 1958, 1962, 1966, 1970 und 1974 wiedergewählt. Levitt trat bei allen Wahlen für die Demokratische Partei und die Liberal Party an. Er nahm 1956, 1960 und 1964 als Delegierter an den Democratic National Conventions teil. 1961 trat er als regulärer Kandidat der Tammany Hall für die demokratische Nominierung für den Posten als Bürgermeister von New York City an. Er erlitt allerdings bei den Vorwahlen gegenüber dem Amtsinhaber Robert F. Wagner junior eine Niederlage, welcher zuvor mit dem Oberhaupt der Tammany Hall Carmine DeSapio gebrochen hatte.
