Studiował w Kolegium Loyoli i Seminarium Św. Marii w Baltimore, przyjął święcenia kapłańskie 15 grudnia 1957 w Rzymie. Obronił licencjat z teologii na Papieskim Uniwersytecie Gregoriańskim w Rzymie, ponadto studiował nauki społeczne na Katolickim Uniwersytecie Amerykańskim w Waszyngtonie. W archidiecezji Baltimore prowadził działalność duszpasterską, zajmował się diecezjalnymi instytucjami dobroczynnymi, był członkiem i przewodniczącym rady prezbiterów, pełnił obowiązki wikariusza biskupiego archidiecezji. W lipcu 1970 otrzymał tytuł kapelana Jego Świątobliwości.
19 stycznia 1976 został mianowany biskupem pomocniczym Baltimore; otrzymał biskupią stolicę tytularną Respecta, a sakry udzielił mu 29 lutego 1976 zwierzchnik archidiecezji William Borders. W latach 1976–1982 Stafford był wikariuszem generalnym Baltimore, a w listopadzie 1982 przeszedł na samodzielną stolicę biskupią Memphis. W maju 1986 został arcybiskupem Denver; zrezygnował z rządów archidiecezją w sierpniu 1996 i przeszedł do pracy w Kurii Rzymskiej. Pełnił funkcję przewodniczącego Papieskiej Rady ds. Świeckich, w październiku 2003 został Penitencjariuszem Większym w Trybunale Penitencjarii Apostolskiej w Watykanie. Sprawował ten urząd do 2 czerwca 2009, gdy odszedł na emeryturę.
Od lutego 1998 jest kardynałem, mianowanym przez Jana Pawła II; nosi tytuł diakona Gesu Buon Pastore alla Montagnola. Brał udział w wielu sesjach Światowego Synodu Biskupów w Watykanie, m.in. w sesji specjalnej poświęconej Kościołowi w Ameryce (listopad-grudzień 1997); reprezentował papieża na uroczystościach poświęcenia nowej katedry w Los Angeles w charakterze specjalnego wysłannika (2 września 2002).
