SAO zostało założone w 1890 roku przez Samuela Lagleya, Sekretarza Smithsonian Institution, głównie w celu badań Słońca[1].
W 1955 roku przeniesiono SAO z Waszyngtonu do Cambridge w celu zacieśnienia współpracy z HCO oraz rozszerzenia skali działania (planowano wzrost zatrudnienia, rozbudowę budynku i zakres badań). Pierwszy dyrektor SAO w „czasach Cambridge”, Fred Whipple, podjął decyzję o utworzeniu pierwszego na świecie systemu śledzenia sztucznych satelitów. Decyzja ta ustabilizowała pozycję SAO jako wiodącego na świecie ośrodka badań kosmicznych. Wspólnie z United States Air Force SAO prowadziło obserwacje satelitów i wyznaczało parametry ich orbit w latach 1957-1961.
Współcześnie w budynku przy 60 Garden Street w Cambridge ponad 300 naukowców w CfA prowadzi szerokie programy badań w zakresie astronomii, astrofizyki, badań o Ziemi, badań kosmicznych oraz edukacji o astronomii i kosmosie.
George B. Field (1973 – do utworzenia Harvard-Smithsonian Center for Astrophysics, później nie było osobnych stanowisk dyrektorskich w obu połączonych instytucjach).