Era estudiant d'enginyeria a la Universitat de Colúmbia quan es va posar al món del cinema de casualitat en el departament d'attrezzo, per acabar especialitzant-se en la direcció de curts còmics el 1927. L'any següent va fer la seva primera pel·lícula, però tornaria als curts amb l'arribada del cinema sonor; per un d'ells, So this is Harris, guanyaria un Oscar el 1932. Va ser a partir de llavors quan va tornar a fer pel·lícules, algunes d'elles comèdies molt notables, en les quals l'equip protagonista eren Bert Wheler i Robert Woolsey a Hips, Hips, Hooray!. Però la seva etapa triomfal i la més coneguda per al públic arribaria quan se li va assignar la direcció de la que es convertiria en una de les parelles mítiques de Hollywood: Fred Astaire i Ginger Rogers, a la seva primera pel·lícula junts Gay divorce, que ràpidament es va convertir en un fulgurant èxit.[2]
Això va portar que a l'any següent dirigís la que és considerada per una gran majoria la millor pel·lícula realitzada per la parella talentosa i llegendària, seria Barret de copa, la qual destaca en tots els aspectes, incloent música i coreografia, temes tots aquests en els quals Sandrich es va interessar summament. L'èxit devastador d'aquestes pel·lícules i d'aquesta parella va portar que apareguessin més pel·lícules com Seguim la flota, Ritme boig, i Amanda.
Però tot això es va interrompre pels problemes entre els protagonistes (cap no volia ser "la parella de") i perquè Sandrich abandonaria la RKO el 1940 per la Paramount. La mítica parella no tornaria a reunir-se fins a The Barkleys of Broadway el 1949 i ja no seria sota la direcció de l'home que havia ajudat a convertir-los en estrelles. No obstant això, el tracte de Sandrich amb la Paramount li va ser summament beneficiós, ja que li donaven l'oportunitat de no solament ser director sinó també productor; i va fer moltes pel·lícules en aquest nou càrrec, entre les quals en podem citar dues amb Jack Benny: Buck Benny Rides Again i Love Thy Neighbor ambdues realitzades el 1940 i la comèdia romàntica Skylark, protagonitzada per Claudette Colbert and Ray Milland.
Tot i ser aquestes pel·lícules èxits espectaculars, la que va demostrar definitivament que Sandrich era un dels millors va ser Holiday Inn el 1942 en la que tornava a treballar amb Fred Astaire i una altra gran estrella del musical dels anys 40, Bing Crosby; a més de l'aclamada música d'Irving Berlin; potser això era degut al fet que els EUA acabaven d'entrar en la Segona Guerra Mundial i el musical comptava una història (en to de comèdia) que mostrava suficients insinuacions serioses per capturar l'estat d'ànim de l'època. Un altre detall destacable és que la cançó White Christmas interpretada per Crosby segueix sent una de les més populars de la història.
So Proudly We Hail! va ser una altra de les pel·lícules produïdes i dirigides per Sandrich, la qual va ser una adaptació d'una reeixida obra teatral; va ser protagonitzada per Adrian Booth i George Reeves, als quals Sandrich pretenia llançar a la fama després de la guerra, tanmateix, això mai sucedería.
El 1945, mentre es duia a terme la preproducció d'una seqüència de Holiday inn anomenada "Blue skies"; de sobte, va morir d'un atac de cor.[3] Per aquella època ja se'l considerava un dels directors amb més talent, més valorats i influents de Hollywood i era molt respectat tant pels seus col·legues com pels estudis; amb el qual resulta molt curiós que actualment sigui un dels directors menys coneguts i sobre qui es poden trobar molt escassos documents escrits. Els seus fills, Mark Sandrich Jr. i Jay Sandrich, també han tingut reeixides carreres com a directors.
