Gottfried Emanuel Semper és Johann Marie Paap gyermekeként született egy hamburgi bérház hátsó udvarán, a Neuen Wall 164. (ma 80–84.) szám alatt. 1806-ban családja Altonába költözött.
Tanulmányait 1830-ban Franz Christian Gau vezetésével Párizsban végezte. Olasz- és görögországi utazásai után 1834-ben tanár lett a drezdai építészeti akadémián.
1835. szeptember 1-jén nőül vette Bertha Thimmiget, akitől 1836 és 1848 között összesen hat gyermeke született. 1849-ben a forradalomban való részvétel miatt Párizsba, majd Londonba menekült. 1853-ban tanár volt a zürichi műszaki főiskolán, 1871-ben Bécsbe hívták.
Utolsó éveit Olaszországban töltötte; Rómában is helyezték örök nyugalomra.
Építményei között kiemelendők: a drezdai udvari színház (1837-41); a zürichi műegyetem (1860-62); a bécsi Hofburg és a két udvari múzeum kiépítése (1871). 1892-ben Drezdában szobrot emeltek neki.
Irodalmi munkái
Bemalte Architektur und Plastik bei den Alten (Altona, 1834)
Die vier Elemente der Baukunst (Braunschweig, 1851)
Der Styl in den technischen und tektonischen Künsten (klasszikai, esztetikai főműve, Frankfurt, 1860-63, 2 kötet, 2. kiadás Stuttgart, 1878)
Die Anwendung der Farben in der Architektur und Plastik (1 füzet, Drezda, 1836)
Über Polychromie und ihren Ursprung (Braunschweig, 1851)
Kleine Schriften (kiadták fiai Manfréd és Hans, Berlin, 1884)
Bauten, Entwürfe und Skizzen (kiadta fia Manfréd, Lipcse, 1881)
Magyarul
Tudomány, ipar és művészet. Valamint egyéb írások az építészetről, az iparművészetről és a művészeti oktatásról; vál., szerk., előszó Hans M. Wingler, ford., magyar kiad. előszó Zádor Anna, utószó Wilhelm Mrazek, jegyz. Székely András; Corvina, Budapest, 1980
