Filho de um pai escocês chamado John d'Silva Miller, que veio ao Brasil para trabalhar na São Paulo Railway Company,[3] e uma mãe brasileira de ascendência inglesa chamada Carlota Antunes Fox, nasceu perto da estação ferroviária da mesma companhia em São Paulo. Aos dez anos, foi estudar na Inglaterra. Desembarcou em Southampton, no sul das ilhas britânicas, e aprendeu a jogar futebol na Bannister Court School. Atuando como jogador, árbitro e dirigente desde o princípio - e mais tarde apenas nas duas últimas funções - foi um entusiasta do desporto em geral, sendo também fundador da Associação Paulista de Tênis, com sede, inicialmente, em Sorocaba.[carece de fontes?] Sem sombra de dúvidas Charles Miller, ao lado de Hans Nobiling, Arthur Friedenreich, Fritz Essenfelder, Hermann Friese, Oscar Alfredo Cox, Belfort Duarte (entre outros) foi um dos grandes propagadores do futebol no Brasil. Além de ser um dos principais nomes responsáveis pela disseminação do futebol no Brasil, Charles Miller também foi um dos responsáveis por introduzir o polo aquático no Brasil. Neste último esporte, porém, não obteve o mesmo incentivo e apoio que obteve ao difundir o futebol. Assim, perdeu-se o interesse e o foco no polo aquático, que mais tarde viria a ser impulsionado novamente por Flávio Vieira.
Miller foi fundamental na montagem do time do São Paulo Athletic Club (SPAC) e a Liga Paulista de Futebol, a primeira liga de futebol no Brasil. Com ele como artilheiro, o SPAC ganhou os três primeiros campeonatos em 1902 de 1903 e 1904. Jogou no clube até 1911, quando ganhou sua última Liga Paulista. Depois disso, no ano seguinte ele se aposentou e começou a atuar como árbitro.
Foi casado com Antonieta Rudge,[7] uma das grandes pianistas brasileiras de prestígio internacional, cuja descendência ficou conhecida como Família Rudge Miller. Esta, no entanto, o abandonou na década de 1920 para viver com o poeta Menotti Del Picchia.[7] Sua biografia foi relatada pela primeira vez pelo historiador John R. Mills,[8] em um livro traz detalhes da carreira, do casamento, do time de coração, dos negócios, da família de Miller.[8]
Alguns historiadores contestam o pioneirismo de Charles Miller na história do futebol brasileiro, argumentando e apresentando documentação como prova de que o esporte mais popular do Brasil já era praticado no país antes da volta do famoso futebolista brasileiro da terra de seus antepassados,[9] havendo registros da prática recreativa e não organizada (popularmente conhecida como pelada) do futebol no país desde meados da década de 1870 por parte de marinheiros de navios mercantes ou de guerra, britânicos, franceses e holandeses, como o realizado em 1878 diante do Palácio Isabel (hoje Guanabara) na cidade do Rio de Janeiro.[10] Segundo essa crítica, o mérito de Miller foi ter chegado ao Brasil com o aparato necessário à pratica do esporte de forma organizada e ter cativado a prática do futebol dentro dos clubes, considerando-se que os ingleses de então eram mais afeitos ao críquete, assim como não foi o primeiro praticante do futebol, mas sim o primeiro dirigente.[11]