Принц Віктор народився 18 липня 1862, його батьками були Наполеон Жозеф Бонапарт та Клотільда Савойська. За велінням Ежена Наполеона у віці вісімнадцяти років принц став головою дому Бонапартів. Таким чином, у 1879 він став Наполеоном V, хоча багато бонапартистів віддавали перевагу його молодшому братові принцу Луї.
У 1884 році відбувся різкий розрив відносин між батьком та сином, і разом з тим бонапартистська партія розпалася на прихильників Жерома Наполеона та Віктора Наполеона. У травні 1886 князі колишньої правлячої династії були вигнані з Французької республіки та принц Віктор виїхав до Бельгії. Смерть батька у 1891 році поставила його на чолі всієї бонапартистської партії, але сама партія втратила до того часу всіляке значення.