Blossom ble uteksaminert fra Asheville School i 1941 og begynte deretter ved Harvard University. Han hadde flere teaterroller i løpet av 1950-årene, og vant Obie-prisen fire ganger. I løpet av 1960-tallet dannet han teatergruppen Filmstage. I Our Town i 1959 er han for første gang å se i en film. Blossom hadde en rolle i den Oscar-vinnende dramafilmen The Great Gatsby i 1974, der han blant annet spilte mot Robert Redford.
Blossom vant en Soapy Award for sin rolle i TV-serien Another World, hvor han dukket opp i 1976 og 1977. I 1990 spilte han i Hjemme alene-filmene. Blossoms øvrige TV-opptredener inkluderer Moonlighting, Northern Exposure og In the Heat of the Night. Han pensjonerte seg fra skuespilleryrket på slutten av 1990-tallet og begynte da å skrive poesi. Frem til sin død, 8. juli 2011, bodde han i Sør-California. Han var tidligere gift med Beverly Schmidt Blossom, før han giftet seg med Marylin Orshan Blossom. De forble gift frem til hennes død i 1982. Han hadde to barn, datteren Debbie og sønnen Michael.
