Gran parte della carriera da giocatore di Gerhardsson si è sviluppata con i colori biancoverdi dell'Hammarby, che ha indossato dal 1978 al 1987. Successivamente ha militato nel Vasalund e nell'Enköping, dove ha appeso le scarpe al chiodo.
Allenatore
Per anni allenatore nel mondo delle serie minori maschili, del calcio femminile oppure assistente di un altro allenatore, nel 2009 Gerhardsson ha avuto l'opportunità di allenare per la prima volta un club di Allsvenskan, l'Häcken. È sempre stato confermato fino al momento in cui, terminata la stagione 2016, lui stesso ha scelto di lasciare la guida della squadra per intraprendere altri percorsi professionali.[1] Negli otto anni di permanenza sulla panchina giallonera ha condotto l'Häcken al primo trofeo della sua storia, la Coppa di Svezia 2015-2016, oltre che a uno storico 2º posto nella Allsvenskan 2012. A livello personale, nel marzo 2013 il quotidiano Aftonbladet lo ha definito il miglior allenatore dell'annata appena trascorsa.[2]
Il 29 novembre 2016 è stato ufficializzato che Gerhardsson sarebbe stato il successore di Pia Sundhage, commissario tecnico della Nazionale svedese femminile, la quale aveva già preannunciato la volontà di lasciare l'incarico al termine degli Europei 2017.[3]