Jego matka Zofia bez powodzenia próbowała zaaranżować małżeństwo Ludwika z księżniczką Zofią Charlottą Wittelsbach. Ludwik pozostał kawalerem do końca życia.
Gdy do wiadomości publicznej dotarł fakt, iż Ludwik Wiktor jest homoseksualistą i transwestytą oraz jest zamieszany jest w wiele intryg i skandali (na przykład w Cesarskiej Saunie), jego brat, cesarz Franciszek Józef, nakazał mu opuścić Wiedeń. Został wysłany do zamku Klessheim niedaleko Salzburga z nakazem nieopuszczania tego miejsca. We wspomnieniach arcyksiążę Ludwik Wiktor jawił się jako człowiek niesympatyczny.
Ludwig Wiktor zasadniczo różnił się od swoich braci. Nie był ani dobrym żołnierzem, ani zbyt inteligentnym człowiekiem. Słaby, niemęski, nie przykuwał uwagi swym wyglądem. Prowadził bardzo przyziemne życie. Miał cięty język jak u jadowitego węża. Był zamieszany w wiele intryg i skandali. Są wystarczające dowody, aby sądzić, iż był niedyskretny, a w jego otoczeniu aż huczało od plotek. Miał przynajmniej jedną dobrą stronę. Był przyjacielem swoich przyjaciół. Bronił ich, kiedy zaszła tak potrzeba.
Księżna Luiza Belgijska była obiektem westchnień wielu monarszych adoratorów. Wyróżniający się przez wiele skandali, najmłodszy brat cesarza, arcyksiążę Ludwik Wiktor, także zabiegał o księżną, która według Julii Stockhausen, swojego czasu była „najbardziej ekstrawagancką kobietą wiedeńskiego dworu”.
W swoich memoriałach, księżna Luiza Belgijska pisze: „Przez wiele lat arcyksiążę Ludwik Wiktor, zasypywał mnie uprzejmościami wszelkiego rodzaju; cały Wiedeń o tym wiedział, zarówno cesarz, jak i reszta ... tak, on prawdopodobnie był jeszcze lepiej poinformowany, niż ktokolwiek, gdyż takie historie należały do jego chleba powszedniego i aferą państwową było dla niego, dowiedzieć się, czy arcyksiążę osiągnął swój cel czy nie.”
Na co dzień arcyksiążę Ludwik Wiktor wypełniał swój czas przebierankami i kolekcjonowaniem parasoli. Zmarł w wieku 76 lat pozostając do końca w miejscu swego zesłania.
.png){kind=small}
