We wspomnieniach „Requiem dla ziemiaństwa” pamiętnikarz Mieczysław Jałowiecki (1876–1963) humorystycznie opisał jak Henryk Ostaszewski salwował się ucieczką w czasie rozruchów robotniczych, do jakich doszło w lutym 1926 w Kaliszu. Gdy „rozagitowany tłum", jak pisze Jałowiecki, wtargnął do magistratu miasta, „pan Ostoja-Ostaszewski, […] mimo mocnego utykania na prawą nogę, z niezrozumiałą dla śmiertelnika zręcznością wyskoczył przez okno sali posiedzeń na gzyms pierwszego piętra. […] Zebrani na placu entuzjastycznymi okrzykami powitali ten śmiały wyczyn pana starosty i od tego czasu zmieniono przydomek Ostoja na Gzyms i pana Henryka nazywano Gzyms-Ostaszewski.”[1]
We wrześniu 1937 premier Sławoj-Składkowski powierzył mu pełnienie obowiązków wojewody białostockiego. W grudniu Rada Ministrów przyjęła wniosek o mianowanie go wojewodą, a 7 stycznia 1938 nominację podpisał prezydent Ignacy Mościcki.
Równolegle z Ostaszewskim nominacje na wojewodów otrzymali: Jerzy Tramecourt na wojewodę lubelskiego, Tomasz Malicki na wojewodę tarnopolskiego i Józef Tymiński na wojewodę krakowskiego.[2]
Gdy po serii nominacji nowych wojewodów pewna dama zarzuciła w senacie premierowi i ministrowi spraw wewnętrznych Składkowskiemu, że „niektórzy wojewodowie spadają z nieba”, premier odparł jej: „Jest to powiedziane bardzo obrazowo. Mianowałem pięciu wojewodów i chciałbym, aby pani była łaskawa wskazać, który z nich 'spadł z nieba'. [...] wojewoda białostocki Ostaszewski był długoletnim starostą kaliskim i ze starosty właśnie awansował na wojewodę.”[3]
Na stanowisku wojewody Ostaszewski postawił na szybki rozwój zapóźnionej gospodarczo Białostocczyzny. Ogłosił 4-letni plan radiofonizacji szkół, gdyż jedynie co szósta placówka edukacyjna na Białostocczyźnie miała odbiornik radiowy. Planu tego nie zdążył jednak zrealizować z powodu wybuchu wojny.
Wyemigrował do Francji. Zmarł w Grenoble 25 marca 1957. Został pochowany na tamtejszym cmentarzu Św. Rocha.
Jako 32-letni wicestarosta kaliski zakochał się w młodszej o pięć lat urzędniczce starostwa kaliskiego, Amelii Haake, z którą ożenił się 16 sierpnia 1924. Jego żona zmarła 24 maja 1969 i została pochowana na cmentarzu ewangelickim w Kaliszu.[4]
Słownik biograficzny Wielkopolski Południowo-Wschodniej - ziemi kaliskiej, t.3. Kalisz: Kaliskie Towarzystwo Przyjaciół Nauk, 2007, s. 307. ISBN 978-83-85638-73-5.
Kto był kim w Drugiej Rzeczypospolitej. Kalisz: BGW, 1994. ISBN 83-7066-569-1. Brak numerów stron w książce
