Entra en ejército alemán como Fahnenjunker (oficial cadete) en el 19.º Regimiento de Ulanos el 19 en abril de 1904. El 18 de agosto de 1905 es promovido a teniente.
Al comienzo de la Primera Guerra Mundial, Veiel era un comandante de escuadrilla en el Regimiento de Dragones de Reserva de Wurtemberg. Sirviendo en este regimiento hasta el final de la guerra. Después de la Primera Guerra Mundial, Veiel fue miembro de los Freikorps en Wurtemberg (1919).
Desde el 1 de octubre de 1920, estuvo en el 18.º Regimiento de Caballería (Sajón) del Reichswehr. Desde 1 de junio de 1923, Veiel comandó un escuadrón en el 10.º Regimiento de Caballería (Prusiano), donde fue ascendido a mayor el 1 de marzo de 1927. En el mismo año, Veiel es asignado como adjunto en la 3.ª División de Caballería. Permaneció en esta división como adjunto hasta el 1 de abril de 1931, cuando es promovido a Teniente Coronel.
Desde el 1 de noviembre de 1932 hasta el 1 de octubre de 1935, Veiel estuvo al mando del Regimiento de Caballería 18.º. Después, de la Segunda Brigada de Rifles hasta el 1 de febrero de 1938, cuando se le asigna el mando de la 2.ª División Panzer.
A partir del 1 de abril de 1942, hasta el 28 de septiembre de 1942, después de la derrota alemana en Moscú, Veiel es promovido a General der Panzertruppe. Más tarde queda al mando del XLVIII Cuerpo Panzer. A partir del 28 de septiembre Veiel es asignado como Jefe de Rehabilitaciones en el Cuartel General del Grupo de Ejércitos Centro. Continuó en este cargo hasta el 6 de junio de 1943.
Desde septiembre de 1943 al 20 de julio de 1944, el general Veiel es comandante general del V Sector de Batalla (Wehrkreis V) en Stuttgart. Fue relevado del mando por complicidad en la conspiración del 20 de julio para asesinar a Adolf Hitler. El 16 de abril de 1945 fue puesto en la Reserva General (Führerreserve) del Estado Mayor del Ejército (Oberkommando des Heeres o OKH).
Después de la Segunda Guerra Mundial, Rudolf Veiel pasó dos años en cautiverio americano. El 12 de mayo de 1947, fue puesto en libertad. Muere nueve años más tarde en su ciudad natal de Stuttgart, a los 72 años de edad
Fellgiebel, Walther-Peer (2000). Die Träger des Ritterkreuzes des Eisernen Kreuzes 1939–1945 – Die Inhaber der höchsten Auszeichnung des Zweiten Weltkrieges aller Wehrmachtteile(en alemán). Friedberg, Alemania: Podzun-Pallas. ISBN978-3-7909-0284-6.
Scherzer, Veit (2007). Die Ritterkreuzträger 1939–1945 Die Inhaber des Ritterkreuzes des Eisernen Kreuzes 1939 von Heer, Luftwaffe, Kriegsmarine, Waffen-SS, Volkssturm sowie mit Deutschland verbündeter Streitkräfte nach den Unterlagen des Bundesarchives(en alemán). Jena, Alemania: Scherzers Miltaer-Verlag. ISBN978-3-938845-17-2.
Battle sector (Wehrkreis V) (1 Sep 43-15 Apr 45) by Rudolf Veiel; Historical Division, Headquarters, United States Army, Europe, (Foreign Military Studies Branch (January 1, 1946))
Predecesor: Ninguno
Comandante de la 2.ª División Panzer 1 de septiembre de 1939 - 17 de febrero de 1942