Hij maakte zijn debuut als profvoetballer in 1943 bij Southampton FC en speelde later met veel succes voor Tottenham Hotspur FC. In 1948 debuteerde hij in de Engelse nationale ploeg, waar hij driemaal aanvoerder van was. Zijn laatste interland was de 6-3 nederlaag tegen Hongarije in 1953. Ramsey scoorde in die wedstrijd uit een strafschop, een specialisme van hem.
In 1955 werd Alf Ramsey trainer van Ipswich Town, in die tijd een klein clubje in de derde divisie. Binnen zeven jaar wist hij Ipswich tot de hoogste klasse van het Engels voetbal te leiden. Daarna werd hij bondscoach van Engeland. Het hoogtepunt van zijn carrière was de wereldtitel, die in 1966 in het Wembley-stadion werd behaald, na een 4-2-overwinning op West-Duitsland. Het volgende jaar werd Ramsey in de adelstand verheven.
Daarna bleef Ramsey bondscoach tot 1974, toen Engeland door Polen werd uitgeschakeld voor het WK. Vervolgens was hij trainer van Birmingham City FC en technisch adviseur van Panathinaikos.
Alf Ramsey was een bescheiden man, die weinig gevoel had voor public relations. Hij had een uitstekend vermogen voor analyse en had al als speler de bijnaam "The General." Van hem is het bekende citaat "Never change a winning team."
Ramsey overleed op 79-jarige leeftijd na een langdurige ziekte.