Rumpf gründete 1844 eine Kunstschule für Töchter des Bürgertums, die er bis 1860 betrieb. Er heiratete 1845, besuchte 1852 Paris, wo er die Werke von Camille Corot und Gustave Courbet besichtigte. Er besuchte auch München, Dresden und Oberitalien. Rumpf gründete 1858 mit seinem Studienkollegen Anton Burger und mit Jakob Fürchtegott Dielmann in Kronberg im Taunus die Kronberger Malerkolonie. 1875 siedelte nach Kronberg über, seit 1890 wohnte er wieder in Frankfurt.
Albert Dessoff: Biographisches Lexikon der Frankfurter Künstler im neunzehnten Jahrhundert. (= Kunst und Künstler in Frankfurt am Main im neunzehnten Jahrhundert Band 2). Baer, Frankfurt am Main 1909, S. ?.
August Wiederspahn, Helmut Bode: Die Kronberger Malerkolonie. Ein Beitrag zur Frankfurter Kunstgeschichte des 19. Jahrhunderts. Kramer, Frankfurt am Main 1982, ISBN 3-7829-0183-5, S. ?.