1711년4월 17일 카를의 형이자 신성 로마 제국 황제요제프 1세가 사망함에 따라 카를은 신성 로마 제국과 합스부르크 왕가의 세습작위들을 물려받게 되었다. 남성 자손이 없는 요제프 1세의 사망은 예측할 수 있었고, 카를은 이에 대비하여 스페인의 왕위를 포기하는 대신 나폴리와 시칠리아, 그리고 밀라노를 가지고자 하였다. 그러나 정작 요제프 1세가 사망하자 카를은 고집을 부려 합스부르크 왕가가 가지고 있는 권한을 포기하지 않겠다고 선언하게 되었고, 카를은 주변의 요청에 못 이겨 요제프 1세가 사망한 지 몇 달 뒤인 9월 27일에서야 스페인을 떠났다.
16세기 신성 로마 제국의 황제 카를 5세의 제국이 부활하기를 원하지 않았던 유럽의 세력들은 카를의 선언을 받아들이지 않았다. 유럽의 세력들은 카를에게 스페인의 왕위를 포기하기를 요구하였고, 카를은 결국 이에 동의하였다. 이에 따라 1711년 12월 카를은 스페인의 왕위를 포기하는 대신 신성 로마 제국 황제의 자리에 오를 수 있었다. 그러나 카를은 스페인의 왕이 된 펠리페 5세를 오랫동안 인정하지 않았다. 카를이 스페인을 떠날 때 카탈루냐인들의 수장 중 몇몇은 그를 따라 빈까지 갔는데, 이들의 조언은 카를에게 좋은 영향을 미치지는 못하였다.
이들은 사부아 공자 외젠이 오스만 제국을 상대로 한참 승리하고 있을 때 카를로 하여금 외젠의 충성심을 의심하게 만들었다. 외젠의 승리로 인해서 1718년7월 21일포자레바츠 조약(Požarevac)이 체결되어 오스트리아의 강역이 동쪽으로 상당히 확장될 수 있었다.
상속 문제
카를은 항상 성공하지는 못하였지만 제국의 상업적 번영에 계몽적인 관심을 모이기도 하였으나, 독일(현재의 빈)로 돌아간 이후 죽을 때까지 그의 관심은 제국을 분할하고자 하는 위협에 대응하는 데에 있었다. 1713년 초 카를은 국사조칙을 발표하여 상속권을 규제하여 제국의 분할을 막고자 하였다. 카를의 유일한 아들은 1716년4월 13일에 태어났으나 유아기에 사망하였고, 이로 인하여 카를의 정책은 그의 딸인 마리아 테레지아를 상속인으로서 인정받는데 초점이 맞추어졌다.
카를은 이를 이루기 위해서 많은 노력을 하였고 외교적으로도 많은 교섭을 진행하였다. 포자레바츠 조약으로 얻었던 영토의 대부분은 그의 별세 1년 전인 1739년에 상실됐는데, 이는 1737년에 참전한 제7차 오스트리아-오스만 전쟁에서의 패배에 따른 베오그라드 조약(1737년 9월 18일)의 결과였다. 카를은 1740년10월 20일 사망했고, 이와 동시에 합스부르크 왕가의 영토를 상속받을 더 이상의 남성이 남지 않게 되었다.