Etter det tyske nederlaget i første verdskrigen la Versaillestraktaten avgrensingar på den militære slagkrafta til Tyskland. Det tyske flyvåpen vart nedlagt, medan Reichsmarine fekk ha maksimalt seks større krigsskip på inntil 10 000 tonn, og ei avgrensa mengd mindre fartøy. Lommeslagskipa«Admiral Graf Spee», «Deutschland» og «Admiral Scheer» vart bygd for å kome akkurat under grensa på 10 000 tonn.
Etter at nasjonalsosialistane greip makta i 1933starta Tyskland å rusta opp. I mars 1935 kunngjorde Hitler at han ikkje lengre såg på seg bunden av dei militære avgjerdene til traktaten, som nngjekk i plan Z. I juni same år inngjekk Storbritannia og Tyskland ei flåteavtale som tillét tyskarane å byggja opp ein flåtestyrke langt utover avgrensingane i Versaillestraktaten.
Kriegsmarine vart danna 1. juni 1935 under leiing av storadmiral Erich Raeder og markerte starten på eit stort byggeprogram av tyske skip. I 1934 vart kjølen strekt på slagskipet «Gneisenau», i 1935 på «Scharnhorst» og i 1936 på «Tirpitz» og «Bismarck».
Kriegsmarine var første gong i kamp under den spanske borgarkrigen, og eit marinefartøy vart brukt i innleiinga til atterobringen av Danzig 1. september 1939. Erich Raeder var pådrivar for at Noreg skulle invaderast for å gje Kriegsmarine basar. I byrjinga hadde dei store overflateskipa ein viss suksess, men dei vart jaga av den overlegne britiske marinen og viste seg å vera sårbare for luftåtak. Etter at flaggskipet «Bismarck» vart søkkt i 1942 bestemde tyskarane seg for å satsa på ubåtflåten som hadde suksess fram til 1943. Ein vesentleg del av overflateskipa var i dei siste krigsåra i Austersjøen, det siste havområdet Kriegsmarine kontrollerte. Her spelte dei ei sentral rolle då tyskarane trekte seg tilbake ved slutten av krigen. I dei siste månadene før kapitulasjonen ytte Kriegsmarine stor innsats i evakueringa av hundretusenvis av flyktningar frå Aust-Preussen.
Den tyske marinen var sterkt involvert i invasjonen av Noreg, og lei alvorlege tap i norske farvatn. Etter at invasjonen var gjennomført etablerte tyskarane fleire viktige basar for overflatefartøy og ubåtar i Noreg.
Marinen hadde òg med øyremerkt personell til å bemanna dei norske kystforta som vart teke under invasjonen. Vidare var det fram til våren 1941 utelukkande marinen som hadde ansvaret for kystforsvaret av Noreg.
Etter at «Marineoberkommando (MOK) Norwegen» vart oppretta i april 1940 kom det etter kvart ein kommandant for Seeverteidigung Oslofjord med base i Horten, ein Admiral der norwegischen Westküste i Bergen (admiral Otto von Schrader), ein Admiral der norwegischen Nordküste i Trondheim og ein Admiral der norwegischen Polarküste med base i Tromsø. I tillegg var det ein kort periode ein kommandant for der norwegischen Südküste i Kristiansand
Kommandantane hadde underlagt fleire område, som igjen var underlagt kvar sin Seekommandant. Kvar Seekommandant hadde eigne dedikerte sjø- og bakkestyrkar, som eksempelvis havnesikringspatruljer, oppsynsbåtar og kystfort.
Dei havgåande overflateskipa som periodevis var i Noreg, høyrde ikkje under MOK Norwegen, heller ikkje ubåtane som hadde ein eigen ubåtkommando – Befehlshaber der Unterseeboote (BdU) Norwegen. MOK hadde ein eiga avdeling for sivile fartøy.
Den tyske kryssaren «Blücher» vart søkkt i Drøbaksundet under det tyske åtaket på Noreg 9. april 1940