I 1851 giftet han seg med Arnoldine von Westen Sylow Kjeldsberg (1824–98) som var enke etter hans bror Nicolai Reinholt Müller (1812-1848). Arnoldine fra Kristiansund var søster til Rasmus Kjeldsberg (1828–97) som i 1856 etablerte kaffehuset Kjeldsberg i Trondheim.
Sønnen Otto Thott Fritzner Müller (1864–1944) var stortingsrepresentant for Halden og satt i Kirke- og skolekomiteen. Datteren Arnolda von Westen Sylow (1859–1944) ble gift med banksjef og politiker Christian Schaanning (1855–1923). En eldre sønn Jørgen Carsten Müller (1855–1933) ble bylege i Christiania og far til professor i medisin, Carl Arnoldus Müller (1886–1983), som igjen var far til Jørgen Carsten Müller (1914–1999), også han professor i medisin.