Początkowo tworzył rzeźby portretowe i symboliczne. Z tego okresu jego twórczości pochodzą Macierzyństwo (1923, rzeźba wyróżniona I nagrodą na wystawie Salon Towarzystwa Zachęty Sztuk Pięknych w styczniu 1924), Majmonides (1925, obecnie w zbiorach Uniwersytetu Hebrajskiego w Jerozolimie) oraz Prorok (1924). Później zajmował się też rzeźbą pomnikową. Zaprojektował m.in. pomnik Ludwika Zamenhofa dla Białegostoku (1931). Projektował dekoracje teatralne, a w latach 30. XX wieku prowadził wraz z Władysławem Weintraubem przy ul. Mylnej 9a w Warszawie Atelier Zdobnictwa Artystycznego. Wystawiał swe dzieła w Warszawie, Łodzi, Lublinie i Paryżu.
Największą sławę zyskał jednak jako twórca rzeźby sepulkralnej. Nagrobki jego autorstwa ustawiane były głównie w Warszawie, lecz także w Łodzi (nagrobki Stanisława Heymana i Ruty-Racheli Akawie[1]) oraz w Grodnie (nagrobek poety Lejba Najdusa). Jego nowatorskie podejście, wyrażające się w ekspresjonistycznych, symbolicznych i geometrycznych formach nawiązujących do dawnej sztuki żydowskiej, a także rzeźby figuralne ocierające się lub wręcz łamiące religijne zakazy ukazywania twarzy ludzkiej, zyskało mu uznanie wśród kół postępowych, a wrogość u ortodoksów. Ci ostatni zmuszali wielokroć Ostrzegę do zmiany lub usuwania już wykonanych nagrobków i niejednokrotnie niszczyli lub uszkadzali te obrażające ich uczucia religijne.