Nacque nella piccola città di Stetten im Remstal, nella attuale Germania. La sua famiglia non era ricca, e - nonostante il giovane Mauch provasse grande interesse per la storiografia e la geografia e in particolare per l'esplorazione (aveva una vera e propria ossessione per l'Africa, all'epoca un continente quasi inesplorato) - egli non poté iscriversi all'università per mancanza di denaro.
Affascinato dai racconti biblici riguardanti il Re Salomone e la Regina di Saba e convinto che il leggendario palazzo di quest'ultima si trovasse in Africa, era deciso a intraprendere un viaggio per trovarlo. Dedicò ben 11 anni alla preparazione del suo viaggio, raccogliendo abbastanza denaro, studiando l'inglese, il latino e leggendo i resoconti dei primi esploratori portoghesi che visitarono le coste africane durante l'età delle scoperte. Si preparò anche fisicamente, percorrendo tutte le mattine lunghe distanze a piedi e abituandosi a digiunare per lunghi periodi, nonché acquisendo pratica nella scherma e nell'uso delle armi. Inviò una lettera al direttore di una nota rivista di geografia tedesca, August Petermann, chiedendo sovvenzioni per il suo viaggio, ma la risposta fu negativa.
Mauch arrivò a Durban, in Sudafrica, nel 1865, e cominciò la sua ricerca. Nel 1867 scoprì diversi giacimenti di oro, il che confermava la sua idea che il Palazzo della Regina di Saba dovesse essere vicino. Fu inoltre lo scopritore del Monte Bismarck, che dedicò al grande cancelliere e alla Germania da poco unificata. Il suo rapporto con le tribù indigene fu difficile, gli capitò perfino di essere preso prigioniero dai nativi, ma infine fu proprio grazie al loro aiuto che nel 1871 scoprì un complesso architettonico noto ora con il nome di Grande Zimbabwe.
Mauch, non avendo i mezzi necessari, compì solo un'analisi superficiale del sito, osservando le costruzioni e confrontando resti di porte di legno con la sua matita di cedro.
Mauch, alla vista di questo enorme edificio provvisto di cinta muraria, e credendo che mai le popolazioni indigene potessero aver costruito qualcosa di così grande, pensò erroneamente che i costruttori dovessero essere Fenici, secondo un'idea di eurocentrismo molto diffusa nel XIX secolo, pensando che la flotta fenicia di Chiram avesse portato le pietre e il cedro dal Libano fino al porto di Ophir per poi edificare la città al centro delle Miniere di Re Salomone tra i fiumi Limpopo e Zambesi.
Ritornato in Germania, si aspettava una accoglienza trionfale e magari l'assegnazione di una cattedra in qualche università, ma restò ben presto deluso: a causa della sua mancanza di titoli di studio questa possibilità gli era preclusa, e il suo carattere difficile e scontroso fecero il resto. Non guadagnò molto dalle sue scoperte, e per sopravvivere dovette lavorare in una fabbrica di cemento, il che non aiutò la sua salute già debilitata dai lunghi viaggi (soffriva di una malattia al fegato). Spesso non aveva il denaro per comprarsi le medicine necessarie, e cominciò a bere. Morì nel 1875 all'età di 37 anni, pochi giorni dopo la caduta dal terzo piano da un albergo di Stoccarda che lo aveva lasciato semi-paralizzato.
Le conclusioni a cui arrivò Karl Mauch vennero successivamente smentite da archeologi professionisti che trent'anni dopo condussero un'esplorazione migliore del sito.
Gli edifici non erano stati realizzati nell'Antichità ma nel Medioevo, e tutti i reperti rinvenuti mostravano una chiara origine africana.
Anche il legno che Mauch aveva pensato fosse cedro era in realtà sandalo africano.
