Im selben Jahr wurde er zum neuen Militärgouverneur der Jungferninseln ernannt. In dieser Funktion löste er Joseph Wallace Oman ab. Schon kurz nach seinem Amtsantritt kam es zum Konflikt zwischen Kittelle und dem dortigen Parlament, das er entließ. Bereits im Jahr 1922 gab er sein Amt wieder auf. Er blieb noch bis 1931 in der Marine und machte im Jahr 1927 noch einmal Schlagzeilen, als er als Kommandeur des 16. Marinebezirks auf den Philippinen eine vermeintliche kommunistische Verschwörung zur Zerstörung einer Schiffswerft aufdeckte.
Nach seinem Ausscheiden aus dem Militärdienst zog er sich in den Ruhestand zurück. Im Jahr 1946 veröffentlichte er ein Buch über seine Familie. Sumner Kittelle starb am 29. Dezember 1950 und wurde auf dem Nationalfriedhof Arlington in Virginia beigesetzt.
