Военную службу начал в пехотном полку, позже в 1934 получил диплом инженера-механика и вступил в SS-Verfügungstruppe, ставшими впоследствии войсками СС. Один из первых членов СС. Член НСДАП, партбилет N 715727.
В 1935 стал командиром 3-го батальона инженерных войск СС.
19 февраля 1942 года за умелые действия при командовании мотоциклетным батальоном и отвагу во время сражения под Демянскомштурмбаннфюрер СС Карл Ульрих был награждён Рыцарским крестом Железного креста
В октябре 1944 года был назначен командиром 6-го моторизованного полка СС «Эйке», в октябре того же года за выдающиеся военные заслуги награждён Дубовыми листьями к Рыцарскому кресту Железного креста.
Незадолго до окончания войны был повышен до звания оберфюрера СС. 12 мая 1945 года со своей дивизией сдался частям союзников. Освобожден в сентябре 1948 года.