Urodził się w rodzinie żydowsko-amerykańskiej jako syn Selmy (z domu Buchman) i Morrisa Landau[4], mechanika austriackiego pochodzenia[5]. W wieku 17 lat rozpoczął pracę jako rysownik w „Daily News”, w latach 40. i 50. był asystentem Gusa Edsona podczas pracy nad komiksem The Gumps[6].
Twórczość Charliego Chaplina wywarła przemożny wpływ na jego późniejsze życie. Pracował w letnim magazynie w Nowej Anglii, a w 1955 został przyjęty do Actors Studio, gdzie studiował pod kierunkiem Lee Strasberga, Elii Kazana i Harolda Clurmana[7] wspólnie ze Steve’em McQueenem.
W latach 50. pojawił się w takich serialach telewizyjnych jak Armstrong Circle Theatre i Schlitz Playhouse, a także The Big Story, Maverick i Rawhide. Zadebiutował na kinowym ekranie jako porucznik Marshall w dramacie wojennym Lewisa Milestone’aWzgórze Pork Chop (Pork Chop Hill, 1959) o wojnie koreańskiej z Gregorym Peckiem. Swój pierwszy większy sukces odniósł w roli homoseksualnego poplecznika złoczyńcy w dreszczowcu Alfreda HitchcockaPółnoc, północny zachód (North by Northwest, 1959) u boku Cary’ego Granta[9]. Landau miał kwitnącą karierę, grając gościnne role w serialach telewizyjnych przerywanych sporadycznymi rolami filmowymi. Grał rzymskiego generała w Kleopatrze (1963), Kajfasza w Opowieściach wszech czasów (1965) i Wodza Krzywe Nogi w westernie komediowym Johna SturgesaNa szlaku Alleluja (1965). Największą popularność przyniosła mu rola mistrza kamuflażu Rollina Handa w serialu CBSMission: Impossible (1966–1969), za którą otrzymał nagrodę Złotego Globu i trzykrotnie był nominowany do nagrody Emmy. Pojawił się także gościnnie w jednym z odcinków serialuNBCColumbo (1973)[10].
31 stycznia 1957 poślubił Barbarę Bain, odtwórczynię głównej roli żeńskiej w serialu Kosmos 1999. Miał z nią dwie córki – Susan Meredith (producentkę) i Juliet Rose (aktorkę).
