오스트리아-헝가리 제국 프레스부르크(현재의 슬로바키아브라티슬라바)에서 태어났다. 어린 시절에는 테오도르 레셰티츠키로부터 피아노를 배우지만 뜻이 맞지 않았다. 1888년에 가족들과 함께 빈으로 이사했고 빈 음악 아카데미에 입학했다. 로베르토 푹스로부터 작곡을, 페르디난트 헤르메스베르거로부터 첼로를 사사했고 1896년 우수상을 받아 졸업했다.
구스타프 말러가 지휘를 담당하던 빈 왕립 극장 관현악단에서 첼로 연주자로 활동했다. 특히 1914년까지 오케스트라에서 활동하면서 상대 후보였던 13명을 물리쳤다고 한다. 또한 그 밖에도 피아니스트로서 콘서트를 개최하거나 빈 음악 아카데미에서 첼로, 피아노, 작곡, 음악 이론을 가르쳤다. 슈미트의 가르침을 받은 빈 필하모닉 오케스트라 단원들은 경외감을 갖고 스승에 대해 말했다고 한다.
프란츠 슈미트는 빈 필하모닉 오케스트라의 지휘자로도 활동했지만 단원이었던 오토 슈트라서는 슈미트의 지휘에 대해서 "원래 작곡가라는 것이 반드시 자신의 창작 과정에서 최고의 해석을 가져야 한다고는 할 수 없는 사실을 확실히 증명한다."라고 밝혔다. 1925년에는 빈 음악 아카데미 이사로 선임되었고 1927년에는 원장으로 취임했다. 그러나 건강이 악화되면서 1937년 초반에 아카데미에서 사직했고 1939년에 오스트리아 페르히틀루츠도르프에서 사망했다.
