Bei den Kongresswahlen des Jahres 1952 wurde Holtzman im sechsten Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. Januar 1953 die Nachfolge von James J. Delaney antrat. Er wurde vier Mal in Folge wiedergewählt und trat am 31. Dezember 1961 von seinem Sitz zurück.
Zwischen 1962 und 1973 war er Richter am New York Supreme Court. Holtzman war Präsident und Chief Executive Officer (CEO) der Central Queens Savings and Loan Association. Er starb am 12. November 2002.