Fou visitador apostòlic del monestir de Montserrat en 1588,[4] junt al bisbe Joan Baptista Cardona, llavors de Vic, els quals aconseguiren solucionar el conflicte entre dos bàndols enfrontats, els monjos d'origen castellà i els catalans.[2] L'èxit en la visita a Montserrat li suposà que Felip II el proposés com a bisbe de Tortosa,[2] i així l'any 1590 és consagrat bisbe de Tortosa per Joan Terès,[5] i el 21 de febrer d'aquell mateix any pren possessió del bisbat.[6]
Construí la capella de Sant Esteve de la Catedral (també coneguda amb el nom de la Comunió o del Santísim Sacrament, i des del segle xviii, de Sant Josep), i les monumentals reixes del cor i del presbiteri. Després d'un gran esforç per finalitzar les obres, consagrà la Catedral el 8 de juny de 1597.[7][8] Durant la seva estada a la Seu de Tortosa feu donació de 5 conjunts de tapissos: Història de Saül, Tobies, Els dotze mesos, i altres dos sense temàtica clara.[9] Ajudà en l'ampliació de l'arxiprestal de Morella i en el convent d'agustines de la mateixa ciutat.[10]
Estigué detingut al seu palau episcopal per la seva intervenció en el conflicte de la castellania d'Amposta durant 1591 i 1592.[1] Mantingué un gran prestigi com a jurista i home de lletres arreu de la Corona d'Aragó.[10]
Intentà implantar les directrius emanades del concili de Trento, guiant el clergat diocesà i regulant el cerimonial litúrgic, així com establint unes normes bàsiques d'ensenyament del catecisme, tot açò mitjançant una sèrie de publicacions: Processional (1591), Ritual (1592) i Doctrina christiana y instrucció breu, fàcil i útil per ensenyar-la (1595); i l'obra inèdita De recta subditorum administratione.[11][12] Front el problema morisc, ordenà la visita de tots els llocs de moriscos de la seva diòcesi, dotà dignament les rectories d'aquests llocs, i manà derruir totes les antigues mesquites reconvertides en esglésies per edificar altres de noves.[13]
Mor el 13 de maig de 1600 en la seva casa del Toscar, a Tortosa (actualment pertany al municipi d'Alfara de Carles), i fou soterrat front el presbiteri de la Catedral.
Muñoz i Sebastià, Joan Hilari. «El bisbe Gaspar Punter, promotor de les arts a la Catedral de Tortosa». Boletín de la Sociedad Castellonense de Cultura, LXXIX (2003), pp. 231-251. ISSN 0210-1475.
