Biegeleben entstammte einer Juristenfamilie im zum Kölner Kurstaat gehörenden Herzogtum Westfalen. Zum Dank für geleistete Dienste wurde Ferdinand Kaspar 1723 der Reichsadel verliehen. Dessen Neffe Engelbert Theodor (* 1732 in Arnsberg; † 1799 ebenda) wurde 1758 Rat bei der Regierung und Mitglied des Landtages des Herzogtums, er wechselte 1782 zum Oberappellationsgericht nach Bonn, floh aber vor den französischen Revolutionstruppen mit dem Gericht nach 1794 Arnsberg.
Kaspar Josef war ältester Sohn von Engelbert Theodor und dessen Frau Maria Anna (geborene Zeppenfeldt).
Er selbst war in erster Ehe seit 1793 mit einer verwitweten Cramer von Clausbruch verheiratet. In zweiter Ehe war er seit 1800 mit Maria Anna geborene von Braumann verheiratet.
Von seinen sieben Kindern aus zweiter Ehe wurde Maximilian (1813–1899) hessischer Finanzminister, Arnold (1822–1892) hessischer Gesandter in Berlin und beim Bundestag in Frankfurt und Ludwig (1812–1872) im Dienste Österreichs Opponent Bismarcks.
Im Dienste Kurkölns
Nach dem Besuch des Gymnasiums Laurentianum schlug Kaspar Josef die Juristenlaufbahn ein und studierte Rechtswissenschaften in Göttingen, Mainz und Bonn. Anschließend trat er 1789 als Hofratsreferendar noch ohne Besoldung in die Dienste des kurkölnischen Staates. Seit 1791 war er als Regierungs- und Hofrat bei der Regierung in Bonn tätig. Er wurde in der Folge Hofkammeradvokat und Hofkammerrat. Daneben war er seit 1792 Hoheitsreferendar. Wie sein Vater flüchtete er mit seiner damaligen Frau vor den Franzosen ins Sauerland zum provisorischen Sitz der Regierung nach Brilon.
Die diplomatischen Anstrengungen zum Erhalt der Kurstaates waren vergebens, da nach dem Frieden von Lunéville und dem Reichsdeputationshauptschluss das Heilige Römische Reich und mit ihm die geistlichen Staaten aufgehoben wurden. Neben seiner diplomatischen Tätigkeit war er als Brüchtenkommissar tätig.
Unter anderem dessen Protektion verdankte er es, dass ihm anders als etwa Franz Wilhelm von Spiegel der reibungslose Übergang in den Dienst des neuen Landesherren gelang. Er ging als Geheimer Staatsreferendar im Rang eines Geheimen Rates, zuständig für das Herzogtum Westfalen, nach Darmstadt. Befördert zum Hof- und Kammerdirektor, war er außerdem zuständig für das ebenfalls neu zum hessischen Staat gekommene Fürstentum Starkenberg. Im Jahr 1810 wurde sein Adel auf eigenes Betreiben erneuert.
Er wurde 1819 Direktor der Hofkammer und erster Referendar im Finanzdepartement des Staatsministeriums im Range eines Wirklichen Geheimen Rates. Wegen zu hoher Arbeitsbelastung gab er aber schon bald einen Teil seiner Aufgaben wieder ab. Von 1821 bis 1832 war er Regierungspräsident in Starkenburg mit Sitz in Darmstadt. Seit 1832 war er Mitglied im Staatsrat und leitete bis zu seinem Tod den Administrativ-, Justiz- und Lehnhof. Für seine Dienste wurde er im gleichen Jahr mit dem Kommandeurskreuz erster Klasse und 1836 mit dem Großkreuz des Ludwigsordens geehrt.
Gesellschaftliches
Neben seiner beruflichen Tätigkeit war der vielseitig gebildete von Biegeleben unter anderem Mitglied des Göttinger Historischen Instituts. Sein Haus wurde zu einem geistigen Mittelpunkt und er verkehrte freundschaftlich mit Heinrich von Gagern, der unter ihm gearbeitet hatte und Biegeleben sehr schätzte.
Wilhelm Schulte: Westfälische Köpfe. Münster, 1977. S. 30f. ISBN 3-402-05700-X
Michael Gosmann: Geheimrat Caspar Josef Biegeleben (1766-1842). In: Ders. (Hrsg.): Zuflucht zwischen Zeiten. Arnsberg, 1994. S. 187f.
Sarah Rudolf: Eine ständische Karriere? Der Aufstieg Caspar Joseph Biegelebens (1766–1842) zwischen 1789 und 1832 in kurkölnischen und hessen-darmstädtischen Diensten In: Geschichte in Köln. Band 59, Heft 1, 2012 S. 129–156
Patrick Sensburg: Die großen Juristen des Sauerlandes. 22 Biographien herausragender Rechtsgelehrter. 1. Auflage. F.W. Becker, Arnsberg 2002, ISBN 978-3-930264-45-2 (276 S.).
Gothaisches genealogisches Taschenbuch der freiherrlichen Häuser, 1972, S.49f Historischer Abriss