Am 19. März 1917 heiratete er die Prinzessin Eleonore Anna Lucie zu Sayn-Wittgenstein-Berleburg (1880–1965), die Tochter des Prinzen Franz zu Sayn-Wittgenstein-Berleburg und Julia Cavalcanti d’Albuquerque de Villeneuve in Kreuth. Eleonore war die Witwe des 1914 bei Reims gefallenen Fürsten Otto Victor II. von Schönburg. Die Ehe blieb kinderlos.
Herzog Ludwig Wilhelm und seine Ehefrau emigrierten 1938 aus Deutschland, um einer Verhaftung durch die SS zu entgehen. Sie flüchteten über Belgien, wo seine ältere Schwester Elisabeth Königin war, in die USA.[1]
Herzog Ludwig Wilhelm war befreundet mit dem Schriftsteller Ludwig Thoma und förderte den Volksmusiksammler Kiem Pauli.
Nach dem Tod seiner Ehefrau (20. Februar 1965) adoptierte Ludwig Wilhelm den Enkel seiner Schwester Marie Gabriele, Max Emanuel. Dadurch konnte sein Haus der Herzöge in Bayern auch nach dem Tode seines ebenfalls kinderlosen Vettern Luitpold Emanuel in Bayern fortgeführt werden.