Goldstein begann als Zahlentheoretikerin. Sie beschäftigt sich seit den 1990er Jahren vor allem mit Geschichte der Zahlentheorie zum Beispiel bei Pierre de Fermat, Charles Hermite, Carl Friedrich Gauß. 2018 ist sie Plenarsprecherin auf dem ICM in Rio (Long-term history and ephemeral configurations).
Schriften
Algebra in der Zahlentheorie von Fermat bis zu Lagrange, in Erhard Scholz (Herausgeber) Geschichte der Algebra, BI Wissenschaftsverlag 1990
Un théorème de Fermat et ses lecteurs. In: Histoires de science. Presses Universitaires de Vincennes, Saint-Denis 1995, 232 S., ISBN 2-910381-10-2
mit Norbert Schappacher, Joachim Schwermer (Herausgeber): The shaping of arithmetic after Carl Friedrich Gauß´ Disquisitiones Arithmeticae, Springer 2007 (darin The Hermitian form of reading the Disquisitiones, mit Schappacher: A book in search of a discipline (1801-1860), Several Disciplines in a book (1860-1900))