Olson est le stoppeur attitré des Orioles au cours des saisons suivantes, enregistrant 37, 31, 36 et 29 sauvetages de 1990 à 1993. Pendant ces années, sa moyenne de points mérités descend jusqu'à 2,05 en 1992 et 1,60 en 1993.
Après plusieurs saisons difficiles, il refait surface chez les Diamondbacks de l'Arizona, pour qui il réussit 30 sauvetages en 1998.
Gregg Olson a lancé 672 manches en 622 parties dans les majeures. Il a remporté 40 victoires contre 39 défaites, avec 217 sauvetages, 588 retraits sur des prises et une moyenne de points mérités en carrière de 3,46. Il a fait partie de l'équipe d'étoiles de la Ligue américaine en 1990 mais n'a pas joué dans le match d'étoiles.