Nach einem Aufenthalt in Nordamerika als Oper- und Konzertsänger sang er 1899 bis 1904 am Stadttheater Hamburg unter dem Dirigat von Gustav Mahler alle großen Wagner-Partien seines Faches. Die Jahre 1908 bis 1910 führten ihn an die Dresdner Hofoper. In Deutschland wurde er zum Kammersänger ernannt.
Seine Schwester war Louise Wolff, Ehefrau von Hermann Wolff, dem Impresario und Intendanten des Philharmonischen Orchesters Berlin.
Von Franz Schwarz existieren zwei Schallplatten der Marke Anker (Berlin 1911).