Rabe von Pappenheim war Vorsitzender des Hessischen Provinzialausschusses, von 1900 bis 1913 des Provinziallandtags der Provinz Hessen-Nassau und von 1899 bis 1917 des Kurhessischen Kommunallandtags. Von 1894 bis zu seinem Tod 1918 saß er als Abgeordneter des Wahlkreises Kassel 2 (Hofgeismar, Wolfhagen) im Preußischen Abgeordnetenhaus. Am 2. Mai 1894 verlor er sein Mandat durch Ungültigkeitserklärung, wurde aber direkt wiedergewählt. Er gehörte der Fraktion der Konservativen Partei an, zu deren führenden Mitgliedern er gezählt wurde.
Verheiratet war Pappenheim seit 1872 mit Fides Gabriele von Herder (1852–1900), jüngste Tochter des Geologen, Rittergutsbesitzers und Politikers Wolfgang Freiherr von Herder (1810–1853).[3]
Johannes Boehlau: Karl Rabe von Pappenheim, in: Zeitschrift des Vereins für hessische Geschichte und Landeskunde 52 (1919), S. 17–20
Jochen Lengemann: MdL Hessen. 1808–1996. Biographischer Index (= Politische und parlamentarische Geschichte des Landes Hessen. Bd. 14 = Veröffentlichungen der Historischen Kommission für Hessen. Bd. 48, 7). Elwert, Marburg 1996, ISBN 3-7708-1071-6, S. 299.
Bernhard Mann: Biographisches Handbuch für das Preußische Abgeordnetenhaus 1867–1918 (= Handbücher zur Geschichte des Parlamentarismus und der politischen Parteien. Band 3). Droste, Düsseldorf 1988, ISBN 3-7700-5146-7, S. 294.
Dieter Pelda: Die Abgeordneten des Preußischen Kommunallandtags in Kassel 1867–1933 (= Vorgeschichte und Geschichte des Parlamentarismus in Hessen. Bd. 22 = Veröffentlichungen der Historischen Kommission für Hessen. Bd. 48, 8). Elwert, Marburg 1999, ISBN 3-7708-1129-1, S. 161.