Mellom 1969 og 1978 var han statssekretær i den føderale regjeringen. I 1979 ble han sjef for stålindustrikonsernet Hoesch i Dortmund. Der kjøpte han Hoesch-konsernet løs fra det nederlandske selskapet Hoogovens, som hadde fusjonert med Hoesch i 1973.
Den 1. april 1991 ble Rohwedder myrdet i sitt hjem i Düsseldorf. Mordet ble aldri oppklart, men pressen mottok et tilståelsesbrev angivelig sendt av den venstreekstremistiske terrororganisasjonen Rote Armee Fraktion (RAF).[5] Han ble bisatt ved en stor statsakt den 10. april samme år.