Figlio di Anton Schmidl, un direttore di banca ungherese trasferitosi da Budapest a Trieste, iniziò a tredici anni a lavorare come copista e commesso presso il Fondaco Vicentini, un importante negozio di musica che sarà successivamente rilevato nel 1884 dallo stesso Schmidl, per diventare più tardi lo "Stabilimento musicale Carlo Schmidl & Co".
Pubblicò il Dizionario Universale dei musicisti (Ricordi, I ed. 1887-1890, Sonzogno II ed. 1928-1929), ancor oggi valido strumento di indagine sull'ambiente musicale dell'Ottocento.
Oltre all'attitudine commerciale, Schmidl aveva anche l'animo del collezionista: in cinquant'anni di attività raccolse una grande quantità di materiale attinente alle varie facce della vita teatrale e musicale, riuscendo quindi nel 1924, grazie alla stipula di una convenzione con il comune di Trieste, a fondare il Museo teatrale che oggi porta il suo nome, e ad esserne nominato curatore. Alla sua morte lasciò le sue collezioni in dono al Comune.
Oltre al museo teatrale, a Carlo Schmidl è intitolata a Trieste anche una strada nel rione di Valmaura.
