Православный. Из старинного дворянского рода. Cын губернского предводителя дворянства Николая Матвеевича Крупенского. Крупный помещик Бессарабской губернии: владел родовым имением в Хотинском уезде (610 десятин), благоприобретенными имениями в Сорокском и Оргеевском уездах (317 и 200 десятин), а также имениями жены в Сорокском и в Белецком уездах (1700 и 1500 десятин).
Окончил Киевскую 1-ю гимназию (1880) и естественный факультет Киевского университета, где изучал биологию. В 1885 году поступил на службу в Подольское депутатское дворянское собрание канцелярским служителем 1-го разряда.
Через два года вышел в отставку и переехал в родную губернию, где посвятил себя службе по выборам. Избирался почетным мировым судьей по Хотинскому (1887—1906), Сорокскому (1897—1914) и Кишиневскому уездам (1908—1915), депутатом дворянства Хотинского уезда (1902—1908). В 1892—1895 годах был земским начальником Хотинского уезда. Состоял почетным попечителем Кишиневского реального училища (1906—1917).
На два трехлетия избирался губернским предводителем дворянства (1908—1912). На этой должности подготовил книгу «Краткий очерк о бессарабском дворянстве», изданную в Петербурге. В январе 1912 года досрочно сложил полномочия предводителя дворянства.
С 1925 года состоял товарищем председателя правления Русского очага во Франции, а в следующем году был избран председателем Высшего монархического Совета. Кроме того, был членом правления Комитета помощи семьям борцов, погибших за родину, а также председателем Комитета помощи Бессарабии. Способствовал организации Русского кадетского корпуса в Версале. В 1937 году участвовал в собрании русских национальных организаций, созванном после похищения генерала Миллера.