교황 그레고리오 4세가 선종한 후, 당시 로마 시민들 사이에서 인기가 높았던 수석부제 요한이 시민들의 환호 속에 교황으로 추대되자,[2] 로마 귀족들은 요한을 교황으로 인정하는 것을 거부하고 세르지오를 새 교황으로 선출하여 사태를 무마하였다. 세르지오 2세는 자신이 직접 나서서 대립 교황 요한이 목숨을 부지할 수 있도록 하였다. 한편 세르지오 2세는 교황으로 즉위할 당시 사전에 프랑크 궁정의 승인을 구하지 않았다.
신성 로마 제국의 로타르 1세 황제는 프랑크 황제의 승인 없이는 교황 선출자는 결코 즉위할 수 없다고 규정한 824년의 로마 헌장(Constitutio Romana)을 포기하는 것을 반대하였다. 그는 황제로서 자신의 권위를 과시하기 위해 근래에 이탈리아의 총독으로 임명한 자기 아들 루트비히에게 군대를 이끌고 로마로 가라고 지시하였다. 세르지오 2세는 루트비히가 로마를 공격하지 않는다는 조건으로 그를 맞이하였다. 황제는 교황이 루트비히를 랑고바르드의 왕으로 즉위하는 대관식을 주재하는 조건으로 교황이 사전 승인 요청도 없이 먼저 즉위한 것에 대해 문제 삼지 않겠다는 조건을 내걸었고, 교회는 이를 받아들였다. 그리하여 844년 6월 15일 세르제오 2세는 루트비히의 머리에 기름을 붓고 그를 랑고바르드의 왕으로 선언하였다. 그 후 루트비히의 고문이자 메츠의 주교 드로고가 로마 시민들은 앞으로 루트비히 왕에게 충성을 맹세해야 한다고 주장하자 세르지오 2세가 이를 반대하여 언쟁이 일어났다. 그는 로마 시민들은 로마 헌장에 따라 로타르 1세 황제에게 충성을 서약해야 한다고 주장하였다.
그 후 세르지오 2세는 드로고 주교를 프랑크의 사절로 임명하고 랭스에서 퇴위된 대주교 에보를 지지하였다. 그는 그라도와 아퀼레이아의 분쟁에 개입하였으나 갑작스런 선종으로 인해 역할을 다하지 못하였다. 세르지오 2세는 사전에 경고가 있었음에도 불구하고 적절한 조치를 취하지 않아 846년8월 23일사라센족의 침략을 막아내지 못하였다. 사라센족이 로마를 침공하여 사도들의 무덤을 파헤쳐 약탈해 갔다. 세르지오 2세는 통풍에 걸려 고생하던 중에 선종하였으며, 그의 뒤를 이어 교황 레오 4세가 선출되어 즉위하였다.
