Sheppard wurde in London geboren, wuchs aber in Irland auf. 1956 begab er sich an die Royal Academy of Dramatic Art, wo er 1958 seinen Abschluss machte. Ab 1960 spielte er zwölf Jahre in der Royal Shakespeare Company. 1966 trat er am Broadway in dem preisgekrönten Theaterstück Marat/Sade auf. Seine erste Filmrolle bekam Sheppard 1962 in dem Film Strongroom. Danach hatte er lediglich Gastauftritte in Fernsehserien, sowie kleine Rollen in Filmen, widmete sich aber noch der Theaterarbeit. 1977 übernahm er eine kleine Rolle in Ridley ScottsDie Duellisten. Es folgten weitere Filmrollen und eine Nebenrolle in der mit drei Golden Globes ausgezeichneten Miniserie Shogun an der Seite von Richard Chamberlain. 1987 erhielt er eine Nebenrolle in der Fernsehserie Max Headroom, welche aber mangels genügender Zuschauerzahlen nach zwei Staffeln eingestellt wurde. In den darauf folgenden Filmarbeiten ist er meist in kleineren Rollen zu sehen – zuletzt in dem elften Teil der Star-Trek-Filmreihe.
2010 erreichte er durch sein Mitwirken an dem in diesem Jahr erschienenen und von der Kritik hochgelobten[2] Strategiespiel Sid Meier's Civilisation V Bekanntheit in der englischsprachigen Computerspiel-Gemeinschaft. Weltweit wurden mehr als 10 Millionen Kopien des Spiels verkauft[3], lange war es das meistgespielte Spiel eines Zweitentwicklers auf der weltweit größten (2019) Videospiel-Vertriebsplattform Steam.
Sein Sohn ist der Schauspieler Mark Sheppard, beide spielten 2011 die verschieden alten Versionen des Canton Everett Delaware III im Staffelauftakt zur sechsten Staffel Doctor Who.
Filmografie (Auswahl)
1962: Strongroom
1975: Die Füchse (The Sweeney, Fernsehserie, 1 Folge)