Stamp, eldstemann av fem barn, ble født den 22. juli 1938 i Stepney i London. Foreldrene var Ethel Esther og Thomas Stamp. Siden faren var borte i lengre perioder i Handelsflåten ble Terence oppdratt av moren, bestemoren og tantene. Han idoliserte skuespiller Gary Cooper gjennom barndommen, etter at han og moren hadde sett Beau Geste på kino. En annen tidlig inspirasjon var James Dean.