17 listopada 1977 mianowany biskupemArundel i Brighton, został konsekrowany 21 grudnia 1977 w Arundel przez Michaela Bowena, arcybiskupa Southwark. Od 1983 współprzewodniczący (z ramienia Kościoła katolickiego) Międzynarodowej Komisji Anglikańsko-Rzymskokatolickiej, w latach 2000–2009 kierował Konferencją Biskupów Katolickich Anglii i Walii. Był wizytatorem apostolskim seminariów w Irlandii.
15 lutego 2000 został promowany na arcybiskupa Westminster, zastąpił zmarłego kardynała Basila Hume. 21 lutego 2001 Jan Paweł II wyniósł go do godności kardynalskiej, z tytułem prezbitera Santa Maria sopra Minerva. Od marca 2001 kardynał Murphy-O’Connor był członkiem Rady Kardynalskiej ds. badania Ekonomicznych i Organizacyjnych Problemów Stolicy Świętej; brał udział w sesjach Światowego Synodu Biskupów w Watykanie, a w październiku 2003 reprezentował Jana Pawła II (w charakterze specjalnego wysłannika) na obchodach 50-lecia ustanowienia katolickiej diecezji w Sztokholmie. W latach 2001–2006 był wiceprzewodniczącym Rady Konferencji Episkopatów Europy.
3 kwietnia 2009 papież Benedykt XVI przyjął jego rezygnację z kierowania archidiecezją Westminster. Następcą został dotychczasowy arcybiskup Birmingham, Vincent Nichols.
24 sierpnia 2012 w związku z ukończeniem 80. roku życia utracił prawo do czynnego uczestniczenia w przyszłych konklawe.