I 1943 ble han, sammen med det meste av Naurus befolkning, sendt til Mikronesia av japanerne, hvor han døde. Kayser-colleget i Ewa er oppkalt til ære for ham.
Verker
"Buch It Dedaro" (1915); Mission Katholik, Nauru
"Nuwawit testament obuä me Nuwawit testament etimeduw" (1915); Biblische Geschichte von Dr. J. Schuster, von Kayser ins Nauruische übersetzt; Westfälische Vereinsdruckerei, Münster
"Die Eingeborenen von Nauru (Südsee). Eine kritische Studie" (1917/1918); Anthropos XII/XII: 313/337
"Spiel und Sport auf Naoero" (1921–1924); Anthropos XIV/XVII: 681/711 und XVIII/XIX: 297/328
"Catechismus Nea Panän Nuwawit Kereri Nea Catholic. E gadauw eow itürin" (1925); William Brooks & Co., Sydney
"Der Pandanus auf Nauru" (1934); Anthropos XXIX: 775/791[2]
"Book It Detaro" (1934); Halstead Printing, Sydney
"Die Fischerei auf Nauru" (1936); Mitteilungen der Anthropologischen Gesellschaft in Wien. LXVI: 92/149
"Nauru Grammar" (1936); durch die deutsche Botschaft in Canberra 1993 neu aufgelegt. ISBN 064612854X