Rodolfo foi duas vezes cunhado de Henrique IV, e, inicialmente, apoiou as campanhas do rei. Ele o ajudou na Turíngia e na Saxônia, e foi de grande importância na Primeira Batalha de Langensalza contra os insurgentes. Todavia, com o estopim da Questão das Investiduras, e a excomunhão de Henrique, Rodolfo se reuniu com vários outros membros da nobreza para escolherem um curso de ação. Embora a excomunhão do imperador ter sido suspendida, em 1077, os rebeldes continuaram com seu plano. Em Forcheim, Rodolfo foi eleito anti-rei. Ele prometeu respeitar o conceito eleitoral da monarquia e demonstrou sua vontade em ser subserviente ao Papa.
Em maio, Rodolfo foi coroado por Sigisfredo I, arcebispo de Mogúncia, mas o povo da cidade se revoltou e ele foi obrigado a fugir para a Saxônia. Isto apresentava um problema, uma vez que a Saxônia era separada de seu ducado da Suábia pelas terras do rei. Ele então deu a Suábia para seu filho Bertoldo e tentou retificar sua situação ao cercar Wurtzburgo, mas não foi o suficiente. Enquanto isso, ele foi privado da Suábia pela dieta em Ulm, em maio, e Henrique deu o ducado a Frederico de Büren, o primeiro governante Hohenstaufen.
A Batalha de Mellrichstadt, em 7 de agosto de 1078, não lhe rendeu resultados favoráveis. Rodolfo encontrou dificuldades em convencer os saxões a lutarem além de suas fronteiras; estes viam-no como um sulista e desconfiavam dele. Também frustrou-se com a aparente relutância do Papa em reconhecer sua causa. Para ganhar e manter aliados, ele se obrigou a dar grandes parte das terras da Coroa, assim como da Igreja, a seus seguidores. Todavia, as coisas pareceram melhorar em 1080. A Batalha de Flarchheim, em 27 de janeiro, foi a seu favor. Em 7 de março, finalmente, o Papa excomungou Henrique novamente e reconheceu Rodolfo como rei.
Entusiasmado, seus exércitos se encontraram com os de Henrique no rio Elster. A combate, que aconteceu em 14 de outubro de 1080, teria sido uma grande vitória aos oponentes de Henrique. Rodolfo, porém, teve sua mão direita decepada e foi ferido mortalmente no abdômen. Ele se retirou para as proximidades de Merseburgo, onde morreu no dia seguinte, e seu corpo foi sepultado na catedral da cidade.
Casamento e descendência
Rodolfo casou-se duas vezes. A primeira vez, em 1059, foi com Matilde da Germânia, filha do imperador Henrique III e de Inês da Aquitânia. Todavia, ela logo veio a falecer, em 12 de maio de 1060, depois de dar à luz uma menina:
Em 1067, Rodolfo casou-se novamente, com Adelaide de Turim (de quem foi o segundo marido), filha de Otão I de Saboia, e de Adelaide de Susa. O casal teve cinco filhos: