W 1780 kupiec Izaak Ollier zakupił od Augusta Sułkowskiego posesję w tym miejscu. Wystawił na niej pałac w stylu klasycystycznym, najprawdopodobniej według projektu Efraima Schrögera. Jego budowę ukończono w 1784.
W 1853 pałac stał się własnością hrabiny Aleksandry z Lavalów Kossakowskiej. Jej mąż Stanisław Szczęsny Kossakowski zgromadził w budynku zbiory malarstwa, broni; stworzył również okazałą bibliotekę. W 1858 przebudowano wnętrza pałacu według projektu Franciszka Marii Lanciego[2].
W 1865 nieruchomość odziedziczył syn Kossakowskich Stanisław Kazimierz. Od 1874 organizował w pałacu piątkowe wieczory literackie. W belwederze pałacu znajdowała się pracownia Władysława Podkowińskiego, w której w 1894 powstał jego obraz Szał uniesień. Właściciel zmarł w 1905. Spadkobierców dziedziczących pałac było ośmioro. Byli to (według księgi hipotecznej w roku 1910) Józef Kossakowski, Michał Stanisław Kossakowski, Jan Eustachy Kossakowski, Maria z Kossakowskich Chrapowicka, Aleksandra z Kossakowskich Łempicka, Zofia z Kossakowskich Meysztowiczowa, Gabriela z Kossakowskich Górska i Jadwiga Kossakowska. W następnych latach pałac przestał być rezydencją rodową i wkrótce stał się kamienicą czynszową. W 1930 został kupiony przez Warszawskie Towarzystwo Ubezpieczeń.
