Er wurde in einer Nachwahl am 20. Februar 1962 im sechsten Wahlbezirk von New York in das US-Repräsentantenhaus in Washington D.C. gewählt, um dort die Vakanz zu füllen, die durch den Rücktritt von Lester Holtzman entstand. Danach kandidierte er im Jahr 1964 im achten Wahlbezirk von New York für einen Kongresssitz. Nach einer erfolgreichen Wahl trat er am 4. Januar 1965 die Nachfolge von Victor Anfuso an. Er wurde neun Mal in Folge wiedergewählt. 1982 wählte man ihn im siebten Wahlbezirk von New York in das US-Repräsentantenhaus. Rosenthal trat am 4. Januar 1983 die Nachfolge von Joseph Patrick Addabbo an, verstarb allerdings am selben Tag. Sein Leichnam wurde dann auf dem Beth-David Cemetery in Elmont beigesetzt.