Panter is opgegroeid in Kettering, Northamptonshire en verhuisde in 1972 naar Coventry waar hij zijn reeds begonnen kunstopleiding voortzette. Panter ontmoette er de latere Specials-oprichter Jerry Dammers met wie hij eerst in andere bands speelde.
De Specials, voorheen The Coventry Automatics, ontketenden in 1979 een ska-revival via het 2 Tone-label van Dammers; ze brachten twee albums uit en waren constant op tournee waardoor ze in 1981 met ruzie uiteenvielen na de tweede nr. 1-hit Ghost Town.
The Special AKA en General Public
Uitgeput door het Special-zijn had Panter zich ondertussen aangesloten bij de Exegesis-beweging en veranderde daardoor van een rustige bassist naar heel assertief. Hij ging in eerste instantie mee naar de doorstart die Dammers en drummer John Bradbury (1953-2015) maakten als The Special AKA, maar omdat het niet wou vlotten met de plaatopnamen en Exegesis steeds meer tijd van hem vroeg besloot hij voorjaar 1982 te vertrekken. "Ik wilde niet weg, maar ik kon niet anders". Zijn laatste opnamen voor 2 Tone waren het soloalbum That Man Is Forward van trombonist Rico Rodriguez en de Special AKA-singles War Crimes en What I Like Most About You (Is Your Girlfriend) (pas in 1984 uitgebracht).
Dit betekende geenszins dat de banden met het verleden waren verbroken; in 1984, het jaar waarin hij zich tot het christendom bekeerde, werd Panter lid van General Public, een afsplitsing van 2 Tone band The Beat rond zangers Dave Wakeling en Ranking Roger. General Public bracht net als de Specials twee albums uit in twee jaar tijd om daarna met ruzie uit elkaar te gaan.
Reünieën en andere projecten
In de jaren 90 toerde Panter weer met leden van de Specials, zij het dat Dammers, Bradbury en zanger Terry Hall ontbraken. Na het coveralbum Today's Specials uit 1996 trok hij zich terug vanwege zijn lerarenopleiding. Hij gaf vanaf 1998 tien jaar lang kunstzinnige vorming in het speciaal onderwijs en is sinds 2010 professioneel kunstschilder. Daarnaast bleef Panter muziek maken; hij vormde Box of Blues met 2 Tone-collega Neol Davies (oprichter van The Selecter), speelde met Malik & Petite (voorheen The Tones) en lanceerde in 2014 de Uptown Ska Collective.
Ondertussen bracht Panter zijn biografie Ska'd for Life uit en ging hij vanaf 2009 weer op tournee met de originele Specials, zij het andermaal zonder Dammers. Na het vertrek van Staple en Radiation en het overlijden van Bradbury verscheen in februari 2019 Encore, het eerste echte Specials-album sinds 1980. De opvolger, Protest Songs 1924-2012, kwam tot stand tijdens de coronapandemie. Plannen voor een nieuw album vonden geen doorgang omdat Hall in december 2022 aan alvleesklierkanker overleed waardoor de Specials ophielden te bestaan. Panter bevestigde dit in een interview in 2023. "Het zou belachelijk zijn om zonder Terry op tournee te gaan; dus ja, dit is definitief het einde van de Specials".
Panter trad in 2022 toe tot The Dirt Road Band (waarvan een eerdere versie in 2017 een aantal keer optrad in de regio) waarmee hij het album Righteous uitbracht.
