Am 28. November 1953 wurde Joseph Gerald Berry zum Erzbischof von Halifax ernannt und am 2. Februar des darauffolgenden Jahres in das Amt eingeführt, welches er bis zu seinem Tod am 12. Mai 1967 bekleidete. Zwischen 1962 und 1965 nahm Erzbischof Joseph Gerald Berry als Konzilsvater an den ersten drei Sitzungsperioden des Zweiten Vatikanischen Konzils teil.