Iš tėvo paveldėjo Ašmenos pavietą Zaliesėje kartu su gražiais, tačiau jau kelis dešimtmečius negyvenamais rūmais, bet ten negyveno. 1873 m. vasario 21 d. iš valstybės patarėjo grafoPlatono Zubovo nusipirko Plungės dvarą ir miestelį, keletą palivarkų Telšių valsčiuje. Tapęs paskutiniuoju Plungės dvaro šeimininku iš karto ėmėsi reformų, pirmiausia perstatydamas dvaro rūmus.
Naujųjų rūmų architektas buvo vokietis Karlas Lorensas, statybos darbams vadovavo Šrankė. Centrinių rūmų statybai išleista apie 50 000 sidabrinių rublių. Šie neoranesansiniai rezidenciniai rūmai užbaigti 1879 m. Sutvarkytas ir prie rūmų buvęs apie 50 ha dydžio parkas, kuris garsėjo ne tik čia augusiais medžiais, krūmais, gerai prižiūrimais gėlynais, bet ir tarpusavyje sujungtais septyniais tvenkiniais. Rūmai buvo prabangiai įrengti ir apstatyti. Rūmų ansamblyje taip pat buvo žirgynas, pilaitė – laikrodinė, du orkestro mokyklos pastatai, sargo namelis, oranžerija, keli ūkiniai statiniai. Oginskių laikais parkas buvo labai gerai prižiūrimas – čia nuolat dirbdavo net po keliolika žmonių.
Plungėje turėjo sukaupęs turtingas meno kūrinių, archeologinių radinių, medžioklės trofėjų ir knygų kolekcijas, visoje Žemaitijoje ir Lietuvoje garsėjo jo šeimos muziejus.
Palaikė lietuvių tautinį sąjūdį, padėdavo valstiečių vaikams siekti mokslo, propagavo naujas ūkininkavimo formas, rengė žemės ūkio ir rankdarbių parodas. 1873 m. savo rūmuose įkūrė iki 1902 m. veikusią muzikos mokyklą, išlaikė orkestrą. Šioje muzikos mokykloje mokėsi ir dvaro orkestre grojo Mikalojus Konstantinas Čiurlionis.
Po kunigaikščio mirties rūmais rūpinosi jo žmona Marija Oginskienė. Ji Plungės dvare įsteigė našlaičių prieglaudą, kurioje išaugino apie 200 tėvų netekusių vaikų. Plungėje jos globojama veikė ir Mokytojų seminarija. 1905 m. panaikinus lietuviškos spaudos draudimą kunigaikštienė Plungėje įsteigė oficialią lietuvišką mokyklą. Prasidėjus Pirmajam pasauliniam karui, Oginskienė pasitraukė į Poznanę, kur karo pabaigoje mirė.