Le quartier tient son nom d'un paysan hollandais du XIXe siècle, Jacobus Kip. Ce dernier possédait une ferme qui s'étendait entre la Deuxième Avenue, la 35e rue, et l'East River. La rivière formait alors une baie qui portait son nom, et bien que celle-ci ait disparu, le quartier a conservé son nom originel. Une bataille de la Guerre d'indépendance des États-Unis s'est déroulée dans le quartier, avant que les troupes britanniques ne s'emparent de la ville : le Débarquement de Kips Bay. L'armée anglaise débarqua avec 4000 hommes sous le commandement du général William Howe à Kips Bay le et mis en déroute les 900 miliciens américains commandés par le Colonel William Douglas qui durent faire retraite et laisser les Britanniques occuper la ville.
D'un point de vue architectural, Kips Bay abrite deux bâtiments de haut standing dessinés par Ieoh Ming Pei, construits en 1961 et 1963, et appelés les Kips Bay Towers. Situées entre la Première et la Deuxième Avenue, elles sont typiques de techniques d'utilisation du béton dans ces années là. En 1974, fut construit le Waterside Plaza au nord du Stuyvesant Cove Park qui longe l'East River. Ce complexe est établi sur les anciens pontons d'accostage des bateaux sur le terrain gagné sur le fleuve.
203 East 29th Street, une des dernières maisons en bois subsistant sur l'île de Manhattan, est à Kips Bay.
