Narodil se v roce 1917 v Paříži jako potomek rodiny alsaských Židů. Po nastolení režimu vichistické Francie v roce 1940 vstoupil do národního hnutí odporu Résistance a přijal jméno „Melville“, podle svého oblíbeného autora Hermana Melvilla. Během války bojoval v operaci Dragoon a po válce si ponechal své umělecké příjmení a nadále jej používal.
Po skončení války si požádal o licenci jako pomocný režisér, jeho žádost ale byla zamítnuta. Rozhodl se proto natáčet filmy ze svých vlastních prostředků a stal se nezávislým filmařem. Své filmy dokonce vyráběl ve svém vlastním filmovém studiu. Brzy se stal se známým tvůrcem, hlavně díky svým tragickým a minimalistickým kriminálním dramatům ve stylu film noir, jako například Práskač (1962), Samuraj (1967) nebo Osudový kruh (1970). Při tvorbě těchto filmeů byl ovlivněn americkou kinematografií, zejména gangsterskými filmy třicátých a čtyřicátých let 20. století. Používal v nich například podobné zbraně, nepromokavé pláště nebo klobouky typu „fedora“.
Jeho nezávislý, až reportážní styl filmové tvorby (byl například jedním z prvních režisérů, kteří ve svých filmech používali skutečné lokace) měl vliv na hnutí francouzské nové vlny. Rovněž Jean-Luc Godard jej obsadil do malé role ve svém klíčovém filmu U konce s dechem (1960). Když měl Godard potíže se zpracováním filmu, Melville mu poradil, aby se omezil pouze na nejlepší části záběru. Ten ho uposlechl a toto řešení jej pak inspirovalo k použití inovativní techniky skokového střihu, která přispěla k jeho filmařské proslulosti.[1]