Seine Eltern waren Alois Graf zu Lodron-Laterano und Castelromano sowie Maria Anna geb. Gräfin von Platz, Freiin zu Thurn, sein Großvater Franz Josef Graf zu Lodron-Laterano war 1790/1791 Landeshauptmann von Tirol gewesen. Er studierte Jus an der Universität Innsbruck und schlug dann die Richterlaufbahn ein. Zunächst Ratsauskultant des niederösterreichischen Landrechtes, später Oberlandesgerichtsrat in Graz, wurde er 1864 Landesgerichtspräsident. Am 31. Mai 1870 wurde er zum Landespräsidenten von Kärnten bestellt.
Schon am 4. Oktober 1870 wurde er aber, wegen seiner vorzüglichen Italienischkenntnisse und Vertrautheit mit den Landesverhältnissen in Südtirol, von Kaiser Franz Joseph zum Statthalter für Tirol und Vorarlberg berufen. Dieses Amt sollte er nur sehr kurz bekleiden: Er hob einen Beschluss der konservativen Gemeinderatsmehrheit von Brixen, die sechs italienische Jesuiten in den Gemeindeverband aufnehmen wollten, auf und löste in der Folge den Gemeinderat der Stadt Brixen auf, der jedoch erfolgreich Rekurs erhob. Graf Lodron-Laterano, dessen Vorgehen vom Minister des Innern Grafen Hohenwart missbilligt wurde, wurde am 8. Mai 1871 in den vorzeitigen Ruhestand versetzt. 1871 wurde er Geheimer Rat und Ehrenbürger der Stadt Innsbruck, ab 1872 lebenslanges Herrenhausmitglied. 1873 wurde er reaktiviert und leitete bis 1880 als Landespräsident die k. k. Landesregierung in Kärnten.
Liberal eingestellt, lehnte er jedoch jede scharfe Politik gegen die Konservativen ab. So sprach er sich 1871 entschieden gegen die gesetzlich vorgesehene Ausschaltung der Geistlichkeit von der Ortsschulaufsicht aus. Ungeschicktes Vorgehen in Schulfragen und in Landesverteidigungsangelegenheiten rief öffentliche Kritik hervor.
Kaspar war verheiratet in erster Ehe mit Karoline geb. Freiin von Enzenberg zum Freyen- und Jöchelsthurn, in zweiter Ehe mit Ludovica Knussert.
Der ersten Ehe entstammten die Töchter Pauline (* 17. Juli 1844) und Emma (* 5. Februar 1846, verh. mit Hubert, Graf von Lodron-Laterano und Castelromano),
