Groves Vater war der Seeoffizier, zuletzt Kapitän, Johan Christian Grove (1789–1834), seine Mutter war dessen Gattin Wenniche, geborene Garmanri (1792–1849). Am 31. Dezember 1851 heiratete Hans Herman Grove Maren Kirstine Johnsen (1834–1864) in Kopenhagen. Sie war die Tochter des Kaufmanns und Vizekonsuls Peter Johnsen (1786–1850) und dessen Gattin Maren Kirstine, geborene Sonne (1801–1882).