Geboren und aufgewachsen in New Jersey, studierte Gast dramatische Künste an der Columbia University, brach das Studium aber kurz vor dem Abschluss ab, um zusammen mit Lowell Thomas die TV-Serie High Adventure zu produzieren. Diese TV-Show, die weitgehend unbekannte Teile der Welt vorstellte, ermöglichte ihm viele Reisen. Dabei erkannte er seine Begabung für Dokumentarfilme.
Seine bekanntesten Werke sind Hell’s Angels Forever (1983) und When We Were Kings (1996). When We Were Kings dokumentiert den „Rumble in the Jungle“, den WM-Boxkampf im Schwergewicht von Muhammad Ali gegen George Foreman 1974 in Zaire. Dabei filmte Gast über 400 Stunden Material, war dann aber pleite. Erst 20 Jahre später fand er einen Geldgeber und vollendete das Werk. 1996 kam der Film in die Kinos und gewann den Oscar für den besten Dokumentarfilm.
In One Love (2003), in dem u. a. Kobe Bryant mitwirkt, beschreibt Gast die Entwicklung des Basketballs von seinen Anfängen im 19. Jahrhundert bis zur beliebtesten US-Sportart der Gegenwart. Sieben Jahre später erhielt Gast für seinen Dokumentarfilm Smash His Camera (2010) über den Paparazzo Ron Galella den Regiepreis des Sundance Film Festivals. Zuletzt drehte er als Co-Regisseur 2014 Manny.
Während der 60er und 70er Jahre wurde Gast u. a. auch als Fotograf für die Magazine Vogue, Esquire und Harper’s Bazaar berühmt.
Er starb im Alter von 85 Jahren und hinterließ seine Ehefrau.
