1849年4月28日、アメリカ合衆国のバージニア州ベッドフォード郡で生まれ、聖職者の家系で育った。父で、バージニア州ミドルバーグ（英語版）のインマヌエル米国聖公会教会司祭のオーティス・アメリカス・キンソルヴィング師（1822年-1894年）は熱心な南部連合支持者となる。特に第43バージニア州騎兵大隊（英語版）を支援していたにもかかわらず、ジョージ・ハーバート・キンソルヴィングの兄はリッチモンド榴弾砲軽砲隊に入隊した。父の再婚相手の家族も同様にアメリカ連合国の支持者であり、事実、再婚相手の父親は地元の国民軍司令官であった。そして再婚相手が難産のために亡くなった後になって、オーティス・アメリカス・キンソルヴィング師はアメリカ連合国占領軍により反逆罪で収監された。オーティスの死に導かれるようにして誕生した子供であるルシアン・リー・キンソルヴィング（英語版）（1862年-1929年）はのちにブラジルの初代宣教主教となり、G. H. キンソルヴィングは20人の主教が参列した聖職授任式で説教を行った。もう一人の異母兄弟であるアーサー・バークスデール・キンソルヴィング（1861-1961）もまたメリーランド州の作家や歴史家として知られるようになる。父の再々婚相手から生まれた異母兄弟のワイス・レイ・キンソルヴィング（英語版）はアメリカ南部とニューヨーク州の米国聖公会の教会に仕えた。キンソルヴィングの父方の家系は有名な米国聖公会会員であるのに、一方の母方の家系は敬虔なルーテル教会会員であった[1] 。
