Kramer besuchte 1970 das renommierte Berklee College of Music in Boston, verließ es jedoch ohne Abschluss.[1] Aus einer losen Bekanntschaft mit Steven Tyler sowie Joe Perry und Tom Hamilton entstand Ende 1970 die Band Aerosmith. Die Idee für den Bandnamen wird Kramer zugeschrieben.[2] 1971 ersetzte Brad Whitford den zweiten Gitarristen Raymond Tabano und vervollständigte somit die bis heute gültige Formation der Band. Während Perry und Whitford die Gruppe 1979 bzw. 1981 vorübergehend für einige Jahre verließen, war Kramer wie Tyler und Hamilton seit der Gründung ohne Unterbrechungen Mitglied von Aerosmith.
Kramer hat einen Sohn und eine Stieftochter aus seiner ersten Ehe (1979–2007) mit April Kramer. Seit 2009 ist er mit Linda Kramer (geb. Linda Pappan) verheiratet[5] und wohnt heute in Georgetown, Texas.[6] Er ist Besitzer des 2016 eröffneten Joey Kramer’s Rockin’ and Roastin’ Cafe in North Attleboro, Massachusetts.[7]
