Koch var en bondson som visade anlag för konst och därför började han vid 15 års ålder i ett seminarium och studerade från 1785 till 1791 i Stuttgart. Han protesterade mot skolans lärometoder med satiriskateckningar, som delvis finns kvar. På grund av intresset för de nya idéerna från franska revolutionen flyttade han till Strassburg. Senare flyttade han till Schweiz och levde där till 1795, då han reste till Rom.
Huvudsakligen inverkade Asmus Carstens på honom och väckte hans entusiasm för antiken och Dante. Kochs första kompositioner i Rom behandlade ämnen ur gamla testamentet och "Divina commedia". Dessa hans teckningar till Dantes dikt utmärks av lidelsefull fantasi, som helst ger form åt bisarra och avskräckande scener, men karakteriseras dessutom av klar åskådning och levande uppfattning. Några av dessa blad har Koch själv raderat. Åren 1812-15 vistades Koch i Wien, varefter han återvände till Rom, där han målade 4 fresker i Villa Massimo med motiv ur Dante. För övrigt behandlade han oftast ämnen ur grekisk mytologi och skaldekonst. Han tecknade 30 blad ur gamla testamentet, 6 ur Aischylos, 27 ur Ossian.
Men sitt anseende fick Koch egentligen som återuppväckare av det "historiska" landskapet, vilket han komponerade och formade efter samma grundsatser, som lett Nicolas Poussin. Han försökte att få fram själen, det eviga och gudomliga i naturen; och som en återklang av detta insatte han som staffage mytologiska och bibliska scener, med vilkas innehåll landskapets karaktär harmonierade. Dessa landskap, som utmärks av kraftig färg och klar luft samt rena linjer och harmoniskt avvägda former, mottogs med stort bifall och skaffade Koch flera efterföljare. Han målade även landskap från Tyrolen och Schweiz, och framför allt lyckades han i bilder från Roms omgivning. Koch är representerad i Berlinsgamla nationalgalleri med italienska landskap, likaså i nya pinakoteket i München ("Heroiskt landskap"), i Dresden, Hamburg, Karlsruhe, Darmstadt och andra tyska gallerier.