William Earl Dodge Stokes beauftragte Ende der 1880er Jahre den französischen Architekten Paul E. Duboy ein Residenzhotel nach europäischem Vorbild zu bauen. Er hatte zuvor mehrere Jahre gebraucht, um das Grundstück, welches aus 22 Parzellen bestand, zusammen zu kaufen. Zuvor befand sich noch ein Waisenhaus auf dem Grundstück. Ursprünglich sollte es mit 20 Stockwerken das höchste Gebäude Manhattans werden.[3] Letztendlich wurden es 17 Stockwerke bei einer Gebäudehöhe von 68,9 Meter (226 Fuß).[4] Nach der offiziellen Eröffnung am 19. April 1904 umfasste das Gebäude 340 Suiten mit etwas mehr als 1200 Zimmern, bei einer Fläche von etwas mehr als 51.000 m². Die Baukosten betrugen etwa drei Millionen US-Dollar. Mit Joseph Gill-Martin hatte das Hotel seinen eigenen Kurator, der für über 600 Gemälde verantwortlich war. Außerdem gab es mehrere Restaurants, Bars, den damals größten Innenpool der Welt und weitere Geschäfte.
In den ersten drei Jahren befand sich auf dem Dach eine kleine Farm mit über 500 Hühnern, sechs Kühen und einem Bären, die täglich frische Eier und Milch für die Bewohner anbieten sollte. Die Farm wurde 1907 vom Gesundheitsamt geschlossen.
Der Baseballspieler der Chicago White SoxChick Gandil lebte 1919 in dem Gebäude. Laut Eliot Asinof und dessen Buch Eight Men Out, welcher später als Acht Mann und ein Skandal verfilmt wurde, soll Gandil sieben Teamkameraden dort empfangen haben, um mit Absicht die World Series 1919 zu verlieren. Der Vorfall ging später als Black Sox Scandal in die Baseballgeschichte ein.
Der Bankräuber Willie Sutton wurde im Februar 1952 im Childs Restaurant, einem Restaurant im Ansonia, festgenommen.
In dem von Woody Allen inszenierten Film Hannah und ihre Schwestern erscheint das Ansonia als eines der Lieblingsgebäude des Architekten David Tulchin.
In dem Film Verführung einer Fremden wohnt die von Halle Berry gespielte Reporterin Rowena Price in einer „professionell dekorierten 4-Millionen-Eigentumswohnung in dem überreichen Ansonia Gebäude an der Upper West Side“.[5]
Die im Jahr 2012 produzierte Fernsehserie 666 Park Avenue spielt in dem Gebäude, wobei es dort The Drake genannt wird und von der Upper West Side zur Upper East Side verlegt wurde.
Das Gebäude diente als Vorlage für das fiktive Balmoral Gebäude in Jed Rubenfelds Roman Morddeutung.
Das Ansonia spielt eine zentrale Rolle als mythisches Gangsterschloss in Jerome Charyns elftem Band der Kriminalromanreihe um Isaac Sidel "Unter dem Auge Gottes".
Vitra Design Museum (Hrsg.): Together! The new architecture of the collective. Ruby Press, 2017, ISBN 978-3-945852-15-6 (englisch, Ausstellungskatalog).