Er wurde bekannt mit seinen Untersuchungen im Ordovizium von New York, Neufundland und Labrador sowie Nevada. Darüber hinaus publizierte er Arbeiten, die sich auf weltweiter Basis mit der Stratigraphie des Mittleren und Oberen Ordoviziums beschäftigten. Diese Arbeiten brachten ihm den Spitznamen „Mr. Ordovician“ ein.[3] Seine gründliche Feldarbeit lieferte viele Beweise für die Kontinentaldrift und die Plattentektonik. Auf ihn geht sowohl das heute noch gültige Klassifikationsschema lithostratigraphischer Einheiten[3] wie auch der Begriff der palinspastischen Rekonstruktion zurück,[4] der Versuch, die Anfangskonfiguration einer gefalteten und gestörten Schichtfolge durch gedankliche Rückformung zu rekonstruieren.
Kay dokumentierte bereits in den 1920er und 1930er Jahren in sorgfältiger Arbeit die großen, immer wieder aktiven Senkungsgebiete, die er vor dem Hintergrund der damals gültigen Geosynklinaltheorie zu interpretieren und mit anderen, ähnlichen Gebieten auf der ganzen Welt zu korrelieren versuchte. Als in den 1960er Jahren die Theorie der Plattentektonik entstand, bot sich ihm die Lösung für das Problem der antreibenden Kräfte für die Bildung des so oft von ihm dokumentierten Paares der Miogeosynkline und der Eugeosynkline. Kay arbeitete bis zu seinem Tod daran, die Zusammenhänge im Licht der neuen Theorie zu interpretieren.[3]