1977 folgte die Ernennung zum Bischofsvikar für die Ständigen Diakone und gleichzeitig die Ernennung zum Personalreferenten für Priester und Ständige Diakone. 1980 wurde er Domdechant und hatte bis 1983 die Leitung der neuen Personalabteilung im Generalvikariat inne. Zudem initiierte die umfangreichen Restaurierungsarbeiten in der Fuldaer Kathedralkirche. 1983 wurde er Dekan des Domkapitels. Er war 1989 Initiator der Gründung der Fuldaer Mädchenkantorei und Domsingknaben. Er war Kommissionsmitglied bei der Deutschen Bischofskonferenz und Beauftragter zur Regentenkonferenz und für die Berufungspastoral.
Kapp war Vorsitzender des Kuratoriums des Winfried-Preises. Er war seit Studientagen 1950 Mitglied der katholischen Studentenverbindung KDStV Bavaria Bonn im CV.