انضم هولسته للجيش الألماني في 15 أغسطس 1914، وشارك في الحرب العالمية الأولى ضمن فوج المدفعية الميدانية الـ 62. وفي الحرب العالمية الثانية، من 1 يناير إلى 15 مايو 1943، تولى قيادة الفرقة الـ 14 مشاة ميكانيكي التي شاركت في الجبهة الشرقية. ومن 28 فبراير إلى 29 مارس 1945، تولى هولسته قيادة فرقة الفرسان الرابعة، والتي خاضت معارك في المجر، ولكنها انسحبت إلى النمسا تحت وطأة الهجوم السوفييتي. وفي 19 أبريل 1945، تولى هولسته قيادة فيلق الدبابات الحادي والأربعين والذي قاتل في منطقة شمال برلين، حتى تم أسره في 8 مايو 1945. وفي عام 1947، أطلق سراح رودولف هولسته.
^Zetner، Kurt (1963). Illustrierte Geschichte Des Zweiten Weltkriegs. Munich: Sudwest Verlag. ص. 566.
Fellgiebel, Walther-Peer. Die Träger des Ritterkreuzes des Eisernen Kreuzes 1939-1945. Friedburg, Germany: Podzun-Pallas, 2000. ISBN 3-7909-0284-5.
Patzwall, Klaus D. and Scherzer, Veit. Das Deutsche Kreuz 1941 - 1945 Geschichte und Inhaber Band II. Norderstedt, Germany: Verlag Klaus D. Patzwall, 2001. ISBN 3-931533-45-X.