Ernest de Saisset nasceu em 1864 em San Jose, Califórnia. Seu pai, Pedro de Alcântara Brasileiro de Saisset (1829–1902), era filho ilegítimo de Pedro I e IV, Rei de Portugal e Imperador do Brasil.[1] Ao imigrar para a Califórnia para aproveitar a Corrida do Ouro, tornou-se empresário e agente consular francês; mais tarde servindo como vice-cônsul. Anos depois, ele ajudou a incorporar e atuou como presidente da filial da Brush Electric Light Company em San Jose. A mãe de Ernest, Maria de Jesus (Jesusita) Palomares (1832-1907), era a viúva de José Suñol (filho de Don Antonio Suñol) e possuía uma grande fazenda.[2] Palomares teve três filhas de seu casamento anterior, Maria "Lola" Dolores A. Suñol (1851–1910), Narcisia Meleton Suñol (1853–1894) e Maria Josefa Brigida Suñol (1854–1906).[2] Juntos, Pedro de Saisset e Maria Palomares tiveram quatro filhos juntos: Henrietta, Ernest, Pierre e Isabel (1876–1950).[1]
Ernest frequentou aulas no Santa Clara College a partir dos 16 anos. Enquanto lá, ele teve aulas de francês, elocução, caligrafia e design, e recebeu um prêmio em 1883 por uma pintura a óleo. Durante o último ano de seus estudos, Ernest estudou pintura com o Pe. Bartholomew Tortone, que aprovou seu trabalho. Como os instrutores de arte eram escassos na pioneira Califórnia, a família de Saisset enviou Ernest a Paris para estudar arte na Académie Julian.[3] Com a ajuda de um tio que morava lá, conseguiu encontrar um estúdio perto da Académie. Ele ficou em Paris por nove anos no total, estudando com Jules Lefebvre, Jean-Joseph Benjamin-Constant e William Bouguereau, entre outros. A certa altura, ele tentou montar uma exposição no Salon, mas foi desencorajado pelo que sentiu ser favoritismo para os franceses nativos.[4]
Em 1895, ele retornou à Califórnia; pintando nus, paisagens e inúmeros retratos. Ele morreu apenas alguns anos depois, em 1899, aos 35 anos, do que foi diagnosticado como "reumatismo".[5]
A sua irmã Isabel de Saisset, falecida em 1950, legou uma grande soma para a criação de um museu de arte, a ser nomeado em sua homenagem, na Universidade de Santa Clara. O Museu De Saisset foi inaugurado em 1955, e contém a maioria de suas pinturas existentes.