Cohn arbeitete bereits Mitte der 1940er Jahre mit Musikern wie Joe Marsala, Georgie Auld, Boyd Raeburn, Alvino Rey und Buddy Rich. Bekannt wurde er als einer der Four Brothers in Woody HermansSecond Herd (1948–49) neben Zoot Sims, Stan Getz und Serge Chaloff. Nachdem er 1949 noch Mitglied einer Band von Artie Shaw war, arbeitete er in den 1950er Jahren vor allem als Studiomusiker und nahm seine ersten Alben als Bandleader auf. Seit 1956 arbeitete er in unregelmäßigen Abständen als Coleader eines Quintetts mit Zoot Sims.
Hatte Cohn schon unter Woody Herman als Arrangeur gearbeitet und später Arrangements für Broadway-Produktionen wie Raisin und Sophisticated Ladies geschrieben, konzentrierte er sich in seinen letzten Jahren auf das Spielen und Aufnehmen.
Der Nachlass Al Cohns wurde von der Al Cohn Memorial Jazz Collection betreut und ist seit 1988 in der Kemp Library an der East Stroudsburg University in East Stroudsburg, Monroe County (Pennsylvania) untergebracht; die Al Cohn Memorial Jazz Collection veröffentlicht drei Mal jährlich die Zeitschrift The Note.[2]
Er war mit der Sängerin Marilyn Moore verheiratet.[3]