Olmsted erwarb 1883 das bereits 1810 im Federal Style errichtete und bis dahin als Joshua Clark House bekannte Gebäude, um in der Nachbarschaft seines Kooperationspartners Henry Hobson Richardson wohnen und arbeiten zu können. Mit dem Wachstum seines Unternehmens wurde das Haus signifikant umgebaut und erweitert, um Platz für Archive und neue Büroräume zu schaffen. Zeitweise mussten dennoch aktuell nicht benötigte Zeichnungen an einen anderen, rund 1 km entfernt gelegenen Ort ausgelagert werden. 1911 wurde die letzte Erweiterungsmaßnahme abgeschlossen.[3]
Das Haus war bis 1936 im Besitz der Familie, als Frederick Law Olmsted, Jr. nach Elkton in Maryland zog und Fairsted vermietete; die Olmsted Brothers unterhielten dort aber weiterhin ihre Büros. 1979 erwarb der National Park Service das Gebäude samt Grundstück und restaurierte beide so, dass sie wieder das Aussehen der 1930er Jahre erhielten. Das Haus ist heute als Museum der Öffentlichkeit zugänglich und enthält geschätzte 1 Million Originalzeichnungen zu den Arbeiten des Unternehmens, zu denen unter anderem die Grundstücke des Washingtoner Kapitols und des Weißen Hauses sowie der Great-Smoky-Mountains-Nationalpark, der Acadia-Nationalpark, der New Yorker Central Park und die Parkanlagen ganzer Städte wie Boston und Montreal zählen.
Frederick Law Olmsted, Albert Fein: Landscape into cityscape – Frederick Law Olmsted’s plans for a greater New York City. Van Nostrand Reinhold Co., New York 1981, ISBN 978-0-442-22539-1.
Laura Wood Roper: A biography of Frederick Law Olmsted. Johns Hopkins University Press, Baltimore 1973, ISBN 978-0-8018-1508-9.