I juli 2004 vart Kosmo utnemnd til fylkesmann for Telemark etter Solveig Sollie, men kunne ikkje tiltre stillinga medan han sat på Stortinget. Hausten 2005 vart han utnemnd til riksrevisor.
Den 2. november 2005 tildelte Kong Harald Jørgen Kosmo storkrossen av St. Olavs Orden for embetsforteneste som stortingspresident. Kosmo er den fyrste stortingspresidenten i nyare tid som har motteke ordenen. Same året vart Kosmo også utnemnd til storkross av den svenske Nordstjerneordenen, og i 2013 fekk han den nederlandskeOranje-Nassau-ordenen (Orde van Oranje-Nassau).