Kaspar Rostrup wuchs als Sohn des Philosophen und späteren Museumsdirektors Haavard Rostrup (1907–1986) und der Keramikerin Esther Fog (1907–1999) in Kopenhagen auf, wo er bis heute lebt. Sein Großvater Egill Rostrup, sein Onkel Asmund Rostrup und sein Cousin Hans Rostrup waren ebenfalls als Schauspieler tätig.
Bereits im Jahr 1962 hatte Rostrup sein Debüt als Bühnendarsteller in dem Theaterstück Fysikerne (Dr. Physiker). Von 1966 bis 1968 absolvierte er seine Schauspielausbildung an der Eleveskole des Königlichen Theaters Kopenhagen und an der Schauspielschule des Aarhus Teaters. Nach dem Studium war er ab 1968, der künstlerische Leiter des Experimentellen Theaters an der Vestergade 58 in Aarhus. In den frühen 1970er-Jahren wirkte er als Regisseur bei mehreren dänischen Fernsehserien und Theaterstücken mit. 1981 debütierte er als Filmregisseur in Jeppe på bjerget. Von 1984 bis 1992 war er Intendant am Gladsaxe Teater, wo er auch das Konzept erstellte für das sogenannte Totaltheater. Ab 1992 war er auch bei Produktionen für Nordisk Film tätig.
Zudem schrieb Rostrup das Drehbuch und führte die Regie zu den Fernsehserien Bryggeren von 1996 und 2000 zu Her i nærheden sowie war 2006 zu der Serie Vores sensommer als Regisseur tätig. Von 2006 bis 2009 war er am Gladsaxe Ny Teater der künstlerische Leiter.
Rostrup war zweimal verheiratet. Beide Ehen blieben kinderlos.
