Il épouse en 1850 Berthe Éléonore Naze. Veuf en 1855, il épouse en secondes noces Zoé Victorine Jaume, en 1859. Parmi ses enfants, Louis Dardoize (1854-1936)[2] sera militaire, Jeanne Louise Dardoize (1850-1944) épousera le peintre Ernest Simon[3], et Berthe Dardoize (1859-1943) qui peindra aussi, épousera le consul de France Josef Pilinski[4].
Éric Lefèvre, Autour d'Ernest Simon (1848-1895) peintre aquarelliste : Émile Dardoize (1826-1901), Maxime Simon (1879-1941), Jacques Simon (1875-1965) et Edmond Debon (1842-1922), Condé-sur-Noireau, , 31 p..