John Gregory Gerry trat im Alter von 18 Jahren in die Ordensgemeinschaft der BenediktinerabteiSaint Anselm Abbey in New Hampshire ein, wo er denn Ordensnamen Joseph John erhielt und am 2. Juli 1948 die Profess ablegte. Am 26. Juli 1954 empfing er die Priesterweihe durch Bischof Matthew Francis Brady von Manchester. Danach war Pater Joseph John ab 1959 Mitglied der Fakultät des Saint Anselm College in Manchester (New Hampshire) und wurde zum Prior der Abtei ernannt. Er diente auch als akademischer Dekan von Saint Anselm und wurde dann 1972 zum Kanzler ebendort gewählt. Die Mönche seines Klosters wählten ihn im Jahr 1972 zum 3. Abt der Saint Anselm Abbey in Manchester. Die Ämter des Abtes und Kanzlers der Hochschule bekleidete Joseph John Gerry bis zu seiner Ernennung zum Weihbischof von Manchester 1986.
Am 27. Dezember 1988 wurde er zum 10. Bischof von Portland (Maine) ernannt und am 21. Februar des folgenden Jahres in das Amt eingeführt. Er trat die Nachfolge des ehemaligen Portland-Bischofs Edward O’Leary an. Am 10. Februar 2004 nahm Papst Johannes Paul II. sein altersbedingtes Rücktrittsgesuch an. Bischof Gerry kehrte im Ruhestand in sein Professkloster Saint Anselm Abbey zurück.