Rainer Osmann spilte aktivt håndball for BSG Motor Eisenach, hvor han i 1985 ble hjelpetrener. I 1990 overtok Osmann trenervervet i HSG Obersuhl, og rykket med klubben opp i Oberliga. Etter to år i Obersuhl ble han trener for sin tidligere klubb ThSV Eisenach, som spilte i 2. Bundesliga. Under hans ledelse, rykket Eisenach i 1997 opp i 1. Bundesliga. Etter sitt opphold i Eisenach trente han mellom januar og mai 2001 andredivisjonsklubben HG Erlangen.
Mellom august 2001 og februar 2008 var Osmann landslagstrener for Østerrikes herrelandslag. Sommeren 2008 ledet han noen uker treningen i landesligaklubben VfB Mühlhausen, som kort før sesongstart ikke hadde noen trener.[1] Deretter overtok han landslagstrenervervet for de tyske juniorkvinnene. I april 2009 overtok han for Armin Emrich som trener for det tyske kvinnelandslaget.