Urodził się i dorastał w miejscowości Dudley, w środkowo-zachodniej Anglii. W roku 1973 dołączył do drużyny Boltonu Wanderers. Występował na pozycji środkowego obrońcy. Wraz z całą drużyną wygrał drugą ligę i wywalczył awans do ekstraklasy. W Boltonie spędził 7 lat, następnie przeniósł się do Sunderlandu. W swojej karierze zagrał również w takich klubach jak Huddersfield Town, Preston North End czy Tampa Bay Rowdies.
Karierę menedżerską rozpoczął w 1989 roku, jako asystent menedżera West Bromwich Albion. W 1994 roku został mianowany menedżerem Blackpool. Pomimo osiągnięcia najlepszego rezultatu w klubie od lat, został zwolniony za przegranie baraży o awans do wyższej klasy rozgrywkowej. W 1999 roku został mianowany menedżerem klubu, w którym zaczynał karierę – Boltonu Wanderers.
Allardyce zdołał awansować już w pierwszym sezonie do baraży o Premiership, które przegrał z Ipswich Town. W tym samym, pierwszym roku doszedł do półfinału Pucharu Anglii. Sezon później również doszli do baraży, które tym razem wygrali. Dało to Boltonowi powrót do Premiership po trzech latach nieobecności. Sezony 2001/2002 i 2002/2003 przeminęły pod znakiem przemian w klubie. W sezonie 2003/2004 Bolton zajął ósme miejsce w Premiership i awansował do finału Pucharu Ligi. Rok później klub zajął miejsce szóste i po raz pierwszy w historii wywalczył awans do europejskich pucharów. Allardyce przestał być trenerem Boltonu w kwietniu 2007.
Od 15 maja 2007 do 9 stycznia 2008 był menedżerem Newcastle United. Następnie 17 grudnia 2008 został szkoleniowcem Blackburn Rovers, gdzie pracował do 13 grudnia 2010[1].
22 lipca 2016 roku został selekcjonerem reprezentacji Anglii i tym samym zrezygnował z prowadzenia Sunderlandu[4].
27 września 2016 roku został dyscyplinarnie zwolniony z posady szkoleniowca kadry narodowej w związku z aferą korupcyjną. W zamian za 400 tys. funtów od azjatyckiej spółki "Far East" miał pomóc jej w ominięciu przepisów dotyczących transferów zawodników[5]. Pod jego wodzą Anglicy zdążyli rozegrać zaledwie jeden mecz w ramach eliminacji do mistrzostw świata w Rosji, wygrany na wyjeździe ze Słowacją 1:0.
23 grudnia 2016 roku został ogłoszony nowym trenerem Crystal Palace, podpisując 2,5 letnią umowę[6]. 23 maja 2017 roku zrezygnował z tej funkcji[7].
30 listopada 2017 roku został nowym trenerem Evertonu[8], z którym rozstał się po zakończeniu sezonu 2017/2018[9].
Pod koniec 2020 roku objął funkcję trenera beniaminka Premier League – West Bromwich Albion[10].
W 2023 roku objął Leeds United, z którego został zwolniony po zakończeniu sezonu[11].
