Фамилията притежава най-старата частна банка в Бавария и най-старите немски лозя.
През 1202/1205 г. родът е издигнат на имперски графове.
Фамилията се разделя през 1803 г. на линиите Кастел-Кастел (протестантска линия) и Кастел-Рюденхаузен (протестантска и католичасека линия), от която през 1898 г. се отделя страничната линия Фабер-Кастел. През 1901 г. граф Волфганг цу Кастел-Кастел (1864 - 1933) е издигнат на баварски княз.
Литература
Paul Schöffel: Zur Frühgeschichte der Grafen von Castell. In: Zeitschrift für Bayerische Landesgeschichte. Jg. 8. 1935, S. 445 – 449.
Wolfgang Graf zu Castell-Castell, Jesko Graf zu Dohna: 950 Jahre Castell. Zur Geschichte des Hauses 1057 – 2007. (Casteller Hefte, 32). Castell, 2007.
August Sperl: Castell. Bilder aus der Vergangenheit eines deutschen Dynastengeschlechtes. Stuttgart/ Leipzig 1908.
Friedrich Stein: Geschichte der Grafen und Herren zu Castell von ihrem ersten Auftreten bis zum Beginne der neuen Zeit 1058 – 1528. Schweinfurt 1892.
Pius Wittmann: Monumenta Castellana. Urkundenbuch zur Geschichte des fränkischen Dynastengeschlechtes der Grafen und Herren zu Castell 1057 – 1546. München 1890.
Genealogisches Handbuch des Adels, Adelslexikon Band II, Band 58 der Gesamtreihe, C. A. Starke Verlag, Limburg (Lahn) 1974, ISSN– 2408 0435 – 2408, S. 254−256
Christian von Hiller: Die Castells führen ihre Bank wie ihren Wald. In: Frankfurter Allgemeine Zeitung. vom 10. Oktober 2008, S. 27.
Bernard H. Breslauer: Heinrich IV. Graf und Herr zu Castell: ein deutscher Büchersammler der Renaissance und die für ihn während seiner Studienjahre in Orléans, Paris und Bologna hergestellten Einbände. Degener, Neustadt an der Aisch 1992.
Der in Bayern immatrikulierte Adel. Band 17 (1988), S. 3, S. 157.