Ludwig foi o segundo filho de Wladyslaw Tetmajer, diretor da siderúrgica Marienthal em Krompachy (atual Eslováquia), e de Luise Elsner. Passou sua infância próximo da siderúrgica, o que o influenciou decididamente. Em 1867 concluiu sua escola de ensino médio com distinção e inscreveu-se após um curso preparatório de um ano na escola de engenharia do Instituto Federal de Tecnologia de Zurique. Em 1872 concluiu os estudos em engenharia civil com 22 anos de idade, obtendo as melhores notas possíveis.
Nesse meio tempo completou em 1875 o serviço militar voluntário de um ano no 66º Regimento de Infantaria Austro-Húngaro . A fim de adquirir a cidadania suíça, renunciou em 1877 à sua patente como tenente da reserva do 34º Regimento de Infantaria Real Imperial.
Depois de tornar-se cidadão suíço em 1877, casou-se em 24 de outubro de 1877 em Munique com a cantora de ópera Maria Luise Kindermann (3 de março de 1852, 22 de junho de 1912), filha do cantor de ópera August Kindermann.
Em 1878 foi nomeado professor associado do Politécnico. Em 1880 foi diretor provisório e, a partir de 1 de fevereiro de 1881, diretor permanente do Eidgenössische Materialprüfungs- und ForschungsanstaltEMPA e, alguns dias antes, professor titular de mecânica. A partir de então o trabalho de Ludwig Tetmajer foi estreitamente ligado à história do EMPA.
A partir de 1896 foi presidente da recém-fundada Associação Internacional de Ensaios de Materiais da Tecnologia. Em 1901 foi para a Universidade Técnica de Viena como professor, desistindo de lecionar na Politécnica e da direção do EMPA. No ano acadêmico de 1904/1905 foi eleito reitor da Universidade Técnica de Viena.
Em 31 de janeiro de 1905 Ludwig Tetmajer desmaiou na frente de seus alunos, como resultado de um derrame cerebral, e morreu na noite seguinte, sem recuperar a consciência.[1] Está enterrado no Cemitério Central de Viena (14B/35).[2]