Rummelhoff ble utdannet i Düsseldorf, under ledelse av Erik Bodom og sannsynligvis Adolph Tidemand (1863). Han har også kunstutdanning fra Biron i Paris (1863–1864) og i 1873 var han elev av Hans Gude i Karlsruhe. Han er kjent for sine landskapsbilder, spesielt fjordlandskaper og skogsinteriører. Rummelhoffs meste kjente maleri; «Innseilingen til Arendal», henger i Arendal gamle rådhus og er malt i forbindelse med kong Oscar IIs besøk i Arendal i 1891. Han malte også skisser av lokale arendalske motiver, motiver fra Strømsbu og Langsæ og stemningsmotiver av måneskinnskvelder over Galtesund. Oljemaleriet «Langsæ» fra 1871 viser en herregårsidyll, omkranset av furutrær og med to gutter i en båt på Langsævannet i ettermiddagssol. Langsæ gård ligger fornemt tilbaketrukket. Maleriet eies av Aust-Agder-Museet i Arendal.[6]
Etter å ha levd det meste av sitt liv i utlandet, flyttet Rummelhoff tilbake til Arendal i midten av 1880-årene, og i 1890 bosatte han seg i hjembyen for godt. Samme år startet han en privat tegneskole.
