Goldin erhielt 1962 einen Bachelor in Maschinenbau vom City College of New York. Er begann im gleichen Jahr seine Karriere am Lewis Research Center der NASA in Cleveland, Ohio und arbeitete an elektrischen Antriebssystemen fĂĽr die bemannte interplanetarische Raumfahrt.
Goldin verließ ein paar Jahre später die NASA und arbeitete für die TRW Space and Technology Group in Redondo Beach, Kalifornien. Während seiner 25-jährigen Karriere bei TRW wurde Goldin Vizepräsident und General Manager und er leitete Projekte, in denen neue Kommunikationssatelliten, Weltraumtechnologien und wissenschaftliche Instrumente entworfen und gebaut wurden.
Als Goldin Administrator der NASA wurde, begründete er das „Faster, Better, Cheaper“-Konzept, mit dem die NASA gleichzeitig die Kosten senken und trotzdem eine Vielzahl an Raumfahrtprojekten durchführen konnte. Nach dem Verlust zweier Marssonden wurde dieses Konzept jedoch auch kritisiert. In seine Amtszeit fallen aber auch erfolgreiche Projekte wie der Marsroboter Mars Pathfinder, Wartungsmissionen zum Hubble-Weltraumteleskop und die Internationale Raumstation ISS.