Het gebouw werd in de periode 1902-1904 gebouwd als kantoorgebouw. Het werd ontworpen door Henry Hardenbergh en dankt zijn naam aan het zeventiende-eeuwse huis van Peter Stuyvesant dat nabij de huidige locatie van het Whitehall Building stond. In 1999 werden de kantoren omgebouwd tot appartementen. Sinds 2014 is op de eerste verdieping de New York Film Academy gevestigd.
Uitbreiding
De uitbreiding, die ook bekendstaat als Greater Whitehall, staat direct naast het oudere gedeelte van het gebouw. De uitbreiding werd in de periode 1908-1910 gebouwd en was ontworpen door het architectenbureau Clinton & Russell. Ten tijde van de voltooiing was het gebouw het grootste kantoorgebouw van New York.
Kenmerken
Het totale grondoppervlak van de twee gebouwen bedraagt 4.786 vierkante meter. Op 8 februari 2000 werd het Whitehall Building aangewezen als monument door de New York City Landmarks Preservation Commission.
Battery Park met rechts het Whitehall Building, vóór 1920
