Fossen giocò per l'intera carriera nel Rosenborg. Fino al 1969, giocò 55 partite nella massima divisione norvegese. Nel 1970, però, arrivò Geir Karlsen come nuovo portiere titolare e Fossen diventò il secondo.
Allenatore
Dopo il ritiro, diventò assistente del tecnico del Rosenborg George Curtis. Nel 1972 fu scelto come allenatore, assieme a Nils Arne Eggen. Dal 1973 al 1974 allenò ancora il Rosenborg, ma senza Eggen accanto. Dal 1975 al 1977 fu tecnico dello Start[1] e, al suo primo anno, portò la squadra al terzo posto finale in campionato.
In seguito, diventò allenatore del Frigg, Lillehammer e Strømsgodset (assieme a Einar Sigmundstad). Con quest'ultima squadra, vinse la Coppa di Norvegia 1991 grazie al successo per 3-1 sul Rosenborg, in finale. Tornò in seguito al Frigg.