Urodził się w Niemczech jako syn Ottona Neugebauera, austriackiego astronoma, matematyka i historyka nauki. Po dojściu Hitlera do władzy rodzina Neugebauerów wyjechała z Niemiec do Danii, a w 1939 roku do USA. Gerry Neugebauer studiował na California Institute of Technology, gdzie w 1960 roku uzyskał doktorat z fizyki. W tym czasie prowadził badania dotyczące fizyki cząstek, ale w trakcie odbywania służby wojskowej w Jet Propulsion Laboratory rozpoczął badania z wykorzystaniem detektorów w podczerwieni.