Der junge Erb wuchs in bescheidenen Verhältnissen auf. Als Sängerknabe verdiente er sich sein erstes Honorar. Nach der Schule schlug er eine Laufbahn als Beamter ein, er war Kassier der Ravensburger Gas- und Wasserwerke. Seine Stimme wurde am 14. Januar 1907 bei einem Auftritt in der Oper Cavalleria rusticana als Chormitglied des Liederkranzes Ravensburg im Rahmen eines Gastspiels der Stuttgarter Hofoper im Konzerthaus Ravensburg entdeckt. Noch im gleichen Jahr debütierte er als Evangelimann in der gleichnamigen Oper Der Evangelimann, von Wilhelm Kienzl. Karl Erb, der weitestgehend ein Autodidakt war, schlug damit erst relativ spät, im Alter von rund 30 Jahren, eine Karriere als Berufssänger ein.
Nachfolgend sang Karl Erb zur Weiterbildung unter anderem in Lübeck und München am „Königl. Hof- und Nationaltheater“ (heute: Bayerische Staatsoper), wo er 1913, nach einem erfolgreichen Gastspiel als Lohengrin, einen festen Vertrag erhielt. Karl Erb sang und spielte alle bekannten Rollen des lyrischen und des jugendlichen Heldenfaches, so zum Beispiel 1914 den Parsifal. Er nahm an mehreren wichtigen Uraufführungen teil: So war er 1917 der erste Interpret der Titelrolle in Hans Pfitzners Oper Palestrina (sie gilt als Höhepunkt seiner Karriere), 1918 sang er in Franz SchrekersDie Gezeichneten als erster die Rolle des Alviago Salvago und 1920 verkörperte er den Hoffegut in Walter Braunfelsens Oper Die Vögel unter der Leitung des Komponisten und mit Maria Ivogün als Nachtigall.
Später machte er sich bei Konzerten als Sänger von Liedern und Oratorien einen Namen, oft an der Seite der Kammersängerin Meta Diestel; insbesondere seine Mozart-Vorträge, seine Schubert-Interpretationen und seine Rolle als Evangelist in den Passionen von Bach machten ihn berühmt. Beim Gemischten Chor Zürich war er zwischen 1920 und 1938 in 12 Oratorien und Konzerten als Solist engagiert. Den letzten Auftritt im Münchener Nationaltheater hatte Erb 1925, sein Vertrag war nicht mehr verlängert worden. Im Juni 1930 fand seine letzte Vorstellung in einer Oper statt, und zwar in Berlin-Charlottenburg, als Florestan in Fidelio unter der Leitung Wilhelm Furtwänglers. Im September 1933 wurde Erb förderndes Mitglied der SS. 1938 wurde er zum Professor ernannt. Erb stand 1944 in der Gottbegnadeten-Liste des Reichsministeriums für Volksaufklärung und Propaganda.[2] Nach 1945 galt der Sänger als politisch belastet.
Karl Erb setzte seine gesangliche Arbeit bis ins hohe Alter fort, das, wie es schien, keinen nachteiligen Einfluss auf seine Stimme hatte. Eine Aufnahme des Bayerischen Rundfunks von Carl OrffsDer Mond aus dem Jahre 1950, die auch als CD erschienen ist, zeigt sehr schön die Stimmkultur des 73-jährigen Karl Erb. Er widmete sich aber ansonsten ausschließlich dem Lied- und Oratoriengesang. Dabei trat er als Liedinterpret gemeinsam mit dem Pianisten Sebastian Peschko hervor.
Karl Erb galt zeit seines Lebens als introvertierte Persönlichkeit. Er war von 1921 bis 1932 mit der ungarischen Sopranistin Maria Ivogün verheiratet und starb mit 81 Jahren an seinem Geburtstag. Sein Grab befindet sich auf dem Hauptfriedhof Ravensburg.[3]
Sein gesamtes Vermögen stiftete der Künstler seiner Heimatstadt. Bis heute werden aus der Karl-Erb-Stiftung junge begabte Musiker gefördert. In Ravensburg erinnert der Karl-Erb-Ring an den großen Sohn der Stadt.
Maria Müller-Gögler: Karl Erb. Das Leben eines Sängers. Verlag Franz Huber, Offenburg 1948 (Neuausgabe mit einem Nachwort 1980: Thorbecke, Sigmaringen 1980, ISBN 3-7995-1608-5).
Peter Eitel: „… er singt, als ob er aus sphärischen Höhen schaute“. Stimmen über Karl Erb. In: Im Oberland, 3. Jahrgang 1992, Heft 2, S. 53–60.
Horst Ferdinand: Erb, Karl, in: Baden-Württembergische Biographien. Bd. 1. Kohlhammer, Stuttgart 1994, ISBN 978-3-17-012207-9, S. 73f. (E-Text).
Manfred Schmid: „Sein Gesang war einmalig“. Karl Erb zum 125. Geburtstag. In: Schwäbische Heimat. Bd. 54 (2003), Nr. 2, S. 136–138 (https://doi.org/10.53458/sh.v54i2.6028).
Fridhardt Pascher: Vom Gasmann zum Evangelimann. Zum 50. Todestag von Karl Erb. In: Schwäbische Heimat. Bd. 59 (2008), Nr. 3, S. 306f. (https://doi.org/10.53458/sh.v59i3.3413).