Horlait was een zoon van Charles François Horlait en Rosalie Augustine Duret. Hij hertrouwde in 1899 in Montignies met Esther Désirée Dullier (1866-1952), met wie hij vier kinderen had. Hij was eerst getrouwd op 31 December 1884 met Irma Laure Leblanc die in het kraambed is gestorven.