Karlsen ble i 2007 tildelt 4. klasse av den estiskeTerra Mariana-korsets orden. Han fikk ordenen for at han som fylkesordfører hadde ledet an i organisering av hjelpearbeid til vennskapsfylket Pärnu da dette var rammet av en stormkatastrofe.
Han er gift og har to barn. Han er bosatt i Røyken.