Era filho do capitão Tito Lívio Índio do Brasil, sendo de origem mestiça indígena.
Casou, a primeira vez, com Delfina Índio do Brasil, que faleceu seis meses após as bodas, vítima de tuberculose. Em 23 de janeiro de 1893 casou-se a segunda vez (com oposição da família da noiva), com Clarice Lage Índio do Brasil, nascida a 4 de abril de 1869, filha do comendador Antônio Martins Lage e de Ana Ribeiro Matos. Clarice faleceu assassinada no centro do Rio de Janeiro, em 7 de outubro de 1919.[2]
O marquês não teve filho, porém adotou uma menina, filha de seu cozinheiro chinês, à qual deu o nome de Rute Índio do Brasil, e que casou-se com Adalberto de Oliveira, tendo três filhos: José Artur de Oliveira, Luís Eduardo de Oliveira e a escritora Clarice de Oliveira.
