Fillo do director de cine Vincenzo Leone (que usaba ás veces o pseudónimo de Roberto Roberti). Seu pai foi director de cine ata que en 1943 Mussolini lle pediu opinión sobre un guión que escribira e desgraciadamente Vincenzo foi sincero, e desde entón non volveu dirixir.
En 1959 déronlle a oportunidade de substituír, por enfermidade, o director Mario Bonnard durante a rodaxe de Os últimos días de Pompeia, aínda que non puido asinar a película.
A partir de aquí comezaron as súas obras máis persoais, que se inician coa famosa triloxía western, tamén coñecida como Triloxía do dólar, en coprodución con varios países europeos e rodada na rexión de Tabernas (Almería). A triloxía obtivo un inesperado grande éxito, conducindo o western ó seu último período cinematográfico, o chamado western crepuscular, xénero moi cultivado no cine dos 70, ademais de achegar dous novos talentos ó medio: o compositor Ennio Morricone, amigo do director desde a infancia, e o actor Clint Eastwood, descoñecido ata entón, ó que o director contratou entre un grupo de actores. O segundo filme da triloxía, Per qualche dollaro in più, tivo certos problemas legais ó estar inspirada nunha película anterior de Akira Kurosawa titulada Yojimbo (1961).
Tras un período de tempo máis dilatado volve ó cine, case por obrigación, con Giù la testa, ambientada na revolución mexicana, que ten menos éxito que as súas películas precedentes. Esta película dirixiuna a última hora debido a problemas co director elixido. Por último, dirixiu a considerada por moitos como a súa obra mestra, Houbo unha vez en América, un "western moderno" ambientado na época dos gánsters. Trátase dun western crepuscular rodado en Cinecittà (Roma) e nos mesmos escenarios estadounidenses nos que rodou a maior parte das súas películas o seu admirado John Ford. En Europa tivo grande éxito malia as catro horas de duración, pero nos Estados Unidos ofreceuse unha versión recortada a case dúas horas, ademais de alterar a montaxe (a historia foi contada de forma lineal e non como na orixinal, onde se utilizan flashbacks).
Sergio tivo sempre ó seu carón a un amigo da infancia que fixo máis grandes aínda as súas películas, Ennio Morricone.
Sergio Leone faleceu en 1989 mentres estaba preparando a película Leningrado.