I september 2008 ble han ansatt som sportsdirektør i Fredrikstad FK, hvor han skrev under en fireårskontrakt med gyldighet fra 1. november.[2] Allerede 22. januar 2009 trakk Karlsen seg fra stillingen, etter uenigheter om strategi og veien videre med blant annet hovedtrener Anders Grönhagen..[3][4]
12. mars 2012 ble Karlsen annonsert som ny sportsdirektør i AS Monaco.[5][6] 10. september 2012 kunngjorde klubben at Karlsen var forfremmet til jobben som administrerende direktør.[7] Da Karlsen ble ansatt i Monaco lå klubben sist på nivå 2, men da Karlsen av personlige årsaker trakk seg i januar 2013 ledet klubben serien. I løpet av 2013 kjøpte klubben spillere for halvannen milliard og ble en europeisk toppklubb.
I mai 2016 ble det kjent at han var ansatt som sportsdirektør i den israelske toppklubben Maccabi Haifa.[8] I mai 2017 ble det kjent at Karlsen avsluttet arbeidsforholdet med Maccabi Haifa.[9]
3. august 2017 ble Karlsen presentert som sportslig leder for IK Start.[10][11] Etter i underkant av to måneder i klubben bestemte han sammen med det øvrige i Start-styret å sparke daværende hovedtrener, Steinar Pedersen.[12] Etter 2019-sesongen ga han seg i klubben.[13]
