Dopo essere stato assistente allenatore a livello universitario, Carroll debuttò nella NFL come allenatore dei defensive back dei Buffalo Bills nel 1984. L'anno successivo passò ai Minnesota Vikings nello stesso ruolo dove rimase per quattro stagioni (1985–89). Nel 1989 fu uno dei candidati per il posto di capo-allenatore della Stanford University, posto che però andò a Dennis Green.
New York Jets
Grazie al successo ottenuto coi Vikings fu assunto dai New York Jets, dove fu il coordinatore difensivo sotto Bruce Coslet per quattro stagioni (1990–93). Nel 1994, Carroll fu promosso a capo-allenatore Jets. Carroll divenne noto per la sua energia e il suo entusiasmo giovanile. La squadra partì con un record di 6-5 sotto Carroll ma una sconfitta contro i Miami Dolphins di Dan Marino fu la svolta negativa della stagione, con la squadra che perse tutte le gare rimanenti. A fine anno fu licenziato.
New England Patriots
Dopo due stagioni come coordinatore difensivo dei San Francisco 49ers, a Carroll fu assegnato il ruolo di capo-allenatore dei Patriots come sostituto di Bill Parcells. Nel suo primo anno New England vinse la AFC East con un record di 10-6. Dopo non essersi qualificato per i playoff nella stagione 1999, Carroll fu licenziato, passando la stagione 2000 fuori dai campi di gioco.
USC Trojans
Carroll fu assunto come capo-allenatore degli USC Trojans il 15 dicembre 2000, firmando un contratto quinquennale.
Pete fu criticato dopo aver iniziato la sua prima stagione con un record di 2-5. Dopo una partenza lenta però i Trojans si ripresero facendo registrare un record di 67-7 nel corso delle 74 gare successive. Carroll rimase a USC fino al 2009, vincendo due campionati NCAA consecutivi nel 2004 e 2005. Dopo l'abbandono di Carroll, la NCAA sanzionò tuttavia USC per avere elargito benefit vietati al vincitore dell'Heisman Trophy (poi reso vacante) Reggie Bush, revocando tra l'altro il titolo della stagione 2004-2005[1].
Seattle Seahawks
Dopo che i Seattle Seahawks licenziarono il capo-allenatore Jim L. Mora, Carroll l'11 gennaio 2010 prese il suo posto. Nella sua prima stagione, Carroll sconvolse quasi completamente il roster dei Seahawks, totalizzando oltre 200 transazioni nel corso di una sola stagione[2]. Grazie a queste mosse, Seattle iniziò la stagione con record di 4-2. Anche se Seattle non proseguì questa tendenza positiva nel corso della stagione, con la vittoria sui St. Louis Rams nell'ultima settimana della stagione regolare i Seahawks vinsero il titolo della NFC West, diventando la prima squadra della storia a vincere la propria division con un record negativo. Carroll entrò ulteriormente nella storia quando i Seahawks eliminarono gli ultimi vincitori del Super Bowl, i New Orleans Saints, nel primo turno di playoff. La settimana successiva la squadra fu eliminata dai Chicago Bears.
Nella sua seconda stagione a Seattle, Carroll terminò ancora con un record di 7-9, non sufficiente però a qualificarsi per i playoff a causa dell'ascesa dei San Francisco 49ers allenati dal suo vecchio rivale al tempo di USC Jim Harbaugh.
Nella sua terza stagione, Carroll, insieme al quarterbackrookieRussell Wilson, guidò la squadra a un record di 11-5, rimanendo imbattuto in casa. Fu la prima stagione con un record positivo per Carroll alla guida della squadra. La squadra si qualificò ai playoff come quinta nel tabellone della NFC e nel turno delle wild card batté in trasferta i Washington Redskins 24-14, la prima vittoria dei Seahawks in trasferta in una gara di playoff dal 1983[3][4]. La stagione di Seattle terminò la settimana seguente contro gli Atlanta Falcons[5].
Nel 2013, Carroll guidò la squadra a un record di 13 vittorie e 3 sconfitte, il migliore della NFL assieme ai Denver Broncos e il migliore della storia della franchigia a pari merito con la squadra del 2005. Grazie al miglior record della NFC, la squadra poté accedere direttamente al secondo turno di playoff dove batté in casa i Saints. Nella finale della NFC la squadra batté i 49ers, qualificandosi per il secondo Super Bowl della sua storia. Il 2 febbraio 2014, nel Super Bowl XLVIII contro i Broncos, Seattle dominò dall'inizio alla fine, vincendo per 43-8, in una gara in cui la difesa di Seattle annullò l'attacco avversario che nella stagione regolare aveva stabilito il record NFL per il maggior numero di punti segnati[6][7]. Carroll divenne così solamente il terzo allenatore della storia ad avere vinto sia il campionato NCAA che il Super Bowl, assieme a Jimmy Johnson e Barry Switzer. All'età di 62 anni fu il terzo più anziano allenatore della storia a vincere il Super Bowl. Tom Coughlin aveva 65 anni quando i suoi Giants vinsero il Super Bowl XLVI. Dick Vermeil ne aveva 63 quando i St. Louis Rams vinsero il Super Bowl XXXIV[8].
Il 3 aprile 2014, Carroll firmò un rinnovo contrattuale di cinque anni del valore di 35 milioni di dollari[9]. La squadra vinse la propria division con un record di 12-4, terminando nuovamente col miglior record della NFC. Nei playoff batté i Carolina Panthers[10] nel divisional round e i Green Bay Packers[11] in finale di conference, qualificandosi per il secondo Super Bowl consecutivo. Il 1º febbraio 2015, nel Super Bowl XLIX contro i New England Patriots, Seattle perse 28-24[12] dopo essere stata avanti 24-14 entrando nel 4° quarto. La partita si decise a pochi secondi dalla fine, quando il lancio verso l'end zone del quarterback dei Seahawks Russell Wilson venne intercettato da Malcolm Butler.
Nella gara del sesto turno della stagione 2018, disputata al Wembley Stadium di Londra e vinta sugli Oakland Raiders per 27-3, Carroll divenne l'allenatore più vincente della storia della franchigia.[13].
L'8 novembre 2020 Carroll firmò un'estensione contrattuale con la franchigia fino al 2025.
Il 10 gennaio 2024 Carroll e i Seahawks acconsentirono consensualmente che lasciasse il suo ruolo di allenatore, rimanendo con la squadra in veste di consulente.[14]