IBMでのゴールドスタインの重要な役割の1つは、IBMの研究者と学界との関係を促進することだった。1969年、彼はIBMで最も名誉ある技術職であるIBMフェローとなり、研究部長のコンサルタントに任命された。ゴールドスタインはフェローとして、コンピューティングと数理科学の歴史に興味を持った。彼はこのトピックについて、The Computer from Pascal to von Neumann(パスカルからフォンノイマンまでのコンピュータ)、History of Numerical Analysis from the 16th Through the 19th Century(16世紀から19世紀までの数値解析の歴史)、History of the Calculus of Variations from the Seventeenth Through the Nineteenth Century(17世紀から19世紀までの変分法の歴史)の3冊の本を書いた。The Computer from Pascal to von Neumannというタイトルが示すように、ゴールドスタインはノイマンが現代のコンピューティング理論の発展に重要な役割を果たしたことにほとんど疑問を残していない。
Arthur W. (Arthur Walter) Burks, John Von Neumann との共著; Preliminary Discussion of the Logical Design of an Electronic Computer Instrument; (Institute for Advanced Study, January 1, 1946) ASIN B0007HW8WE
Goldstine, A. との共著 (1982) [1946]. “The Electronic Numerical Integrator and Computer (ENIAC)”. The Origins of Digital Computers: Selected Papers. New York: Springer-Verlag. pp. 359–373. ISBN 978-3-540-11319-5
(1980-10-01). The Computer from Pascal to von Neumann[※ 1]. Princeton, NJ: Princeton University Press. ISBN 978-0-691-02367-0.
(1973). New and Full Moons: 1001 B.C. to A.D. 1651. Philadelphia: American Philosophical Society. ISBN 978-0-87169-094-4
(1977). History of Numerical Analysis from the 16th Through the 19th Century (Studies in the History of Mathematics and Physical Sciences, 2). New York: Springer-Verlag. ISBN 978-0-387-90277-7
(October 1980). History of the Calculus of Variations from the Seventeenth Through the Nineteenth Century (Studies in the History of Mathematics and the Physical Sciences). New York: Springer-Verlag. ISBN 978-0-387-90521-1
Bernoulli, Jakob; Bernoulli, Jean; Radelet-de Grave, P. との共著 (September 1991). Die Streitschritfen Von Jacob Und Johann Bernoulli: Variationsrechnung. Basel; Boston: Birkhäuser. ISBN 978-3-7643-2348-6