Le bâtiment est lancé le . Le baptême a lieu en présence du Dr. Finter, maire de Karlsruhe, et de la veuve d'Erich Köhler(de), le commandant du précédent SMS Karlsruhe, disparu lors de son naufrage le . Lors du transfert de Kiel à Wilhelmshaven (par le canal de Kiel le ), les essais à la mer sont validés. La mise en service du Karlsruhe se fait le à Wilhelmshaven sous le commandement d'Eugen Lindau(de).
Le croiseur sert de à comme navire-école pour les officiers durant cinq longues croisières d'instruction à travers les océans du monde. Lors de la cinquième croisière en 1935 et 1936, pendant une traversée entre le Japon et les États-Unis, le navire subit de lourds dommages à cause d'une tempête et doit relâcher à San Diego pour réparer.
À partir du , le bâtiment est destiné à des missions d'éclaireur. Pendant la Guerre d'Espagne, le Karlsruhe patrouille dans les eaux espagnoles et portugaises en janvier-février et .
Afin d'améliorer sa tenue à la mer en cas de tempête, le navire revient au chantier naval Kriegsmarinewerft à Wilhelmshaven le . Lorsque la guerre commence, les travaux ne sont pas finis. Il reste en cale sèche jusqu'au pour effectuer de nouveaux essais.
Avec un nouvel équipage insuffisamment formé, le Karlsruhe participe à l'opération Weserübung en . Sous le commandement du kapitän zur SeeFriedrich Rieve, le croiseur a pour tâche d'assurer le débarquement des troupes allemandes à Kristiansand. Les forces allemandes ont capturé la ville portuaire dans la troisième tentative, après avoir d'abord combattu deux duels d'artillerie avec l'artillerie côtière norvégienne.
Durant la retraite dans le Skagerrak, le à 19 h 58, le sous-marin britannique HMS Truant le torpille. Les deux machines, l'alimentation électrique et le gouvernail sont hors d'usage. Le Karlsruhegîte rapidement puis commence à couler. À 21 h, l'équipage est récupéré par les torpilleursLuchs et Seeadler(de). Le capitaine de vaisseau Rieve donne ensuite l'ordre au torpilleur Greif(de) d'achever l'épave. L'ordre est exécuté à 22 h 50, deux torpilles sont lancées et le Karlsruhe est définitivement coulé.
L'épave - localisée en - a été identifiée formellement dans la fosse norvégienne, à 11 nautiques au sud-est de Kristiansand en à une profondeur de 490 mètres, à 15 mètres environ du câble électrique sous-marin Cross-Skagerrak[1],[2].
Gröner, Erich / Dieter Jung / Martin Maass: Die deutschen Kriegsschiffe 1815–1945. Band 1: Panzerschiffe, Linienschiffe, Schlachtschiffe, Flugzeugträger, Kreuzer, Kanonenboote, Bernard & Graefe Verlag, München 1982, (ISBN3-7637-4800-8).