З початком Першої світової війни 16-ти річний Кребс записався добровольцем в діючу армію. Воював на західному фронті. Після закінчення світової війни він продовжив військову кар'єру в рейхсвері.
У 1930 році був переведений у військове міністерство в Берлін. У 1933-35 роках Кребс був деякий час помічником німецького військового аташе в СРСР і проживав в Москві. Кребс добре розмовляв російською і особисто знав багатьох вищих воєначальників СРСР, в тому числі Жукова. З 1935 року служив у штабі 24-ї дивізії, з 1 жовтня 1937 року — в 11-му відділі Генштабу сухопутних військ.
З 15 грудня 1939 року — начальник штабу 7-го армійського корпусу, учасник Французької кампанії. В березні-травні 1941 року — заступник і в.о. військового аташе в Москві. Після оголошення війни СРСР разом з іншими дипломатами прибув у Берлін, де отримав призначення начальником штабу 7-го армійського корпусу, учасник боїв на радянсько-німецькому фронті. З 14 січня 1942 року — начальник штабу 9-ї армії, з 1 березня 1943 року — групи армій «Центр», з 5 вересня 1944 року — групи армій «В» на Заході. З 17 лютого 1945 року — помічник начальника Генштабу сухопутних військ з оперативних питань і начальник навчального відділу і адміністрації Головної квартири. З 29 березня 1945 року — в.о. начальника Генштабу сухопутних військ замість відправленого у відпустку генерал-полковника Гудеріана.
Знання російської мови допомогло йому вести свій останній діалог з Червоною армією 1 травня 1945 року. Після самогубства Адольфа Гітлера Кребс, за дорученням Йозефа Геббельса, брав участь в спробі укласти перемир'я з радянськими військами, які штурмували Берлін. Ще до 4 ранку він прибув в розташування генерал-полковника Чуйкова. В перемир'ї йому було відмовлено о 10 годині 15 хвилин. Радянське командування наполягало на беззастережній капітуляції.
В цей же день між 21:30 та 22.00, після того, як майже всі бажаючі залишили фюрербункер, Кребс разом з генералом Бургдорфом застрелився у своїй кімнаті в бункері, вистріливши з табельного пістолета собі в серце.