1132년 독일로 돌아온 그는 형 프리드리히와 로타르 3세에게 계속 대항하였지만 1135년에는 결국 로타르를 황제로 인정하고 자신의 영지를 되찾는 데 주력했다. 1137년 로타르 3세가 죽자, 1138년3월 7일 콘라트는 로타르의 후계자로 선출되었으며 주로 남부 독일의 제후들은 그를 독일의 왕으로 인정했다. 그러나 로타르 3세의 사위이자 후계자인 하인리히 오만공은 바이에른과 작센에서 코라트에 대해 반기를 들고 일어났다. 약 5년간의 내전을 치르고 1142년 호엔슈타우펜 가문은 벨프가문과 화해했다.
첫 부인 거트루트 폰 콤부르크와의 사이에서는 딸만 세명 낳았다. 둘째 부인 거트루트 폰 줄츠바흐와의 사이에서는 두 명의 아들을 얻었다. 장남 하인리히는 1150년 벨프가문과 전투중에 사망하고 말았다. 콘라트 3세가 사망할 당시, 차남 프리드리히가 있었으나 여섯 살에 어린나이라 왕위는 형의 아들인 조카 프리드리히 1세 바르바로사에게 돌아갔다.