Старший сын художника Антона Цоллера[нем.] (1695—1768), который приехал в Тироль со своей семьёй и получил гражданство в Халль-ин-Тироль в 1753 году. Учился у своего отца и помогал ему во многих его работах. С 1763 года самостоятельно создавал фрески и запрестольные образы для многих церквей Тироля. Последователь творчества Андреа Поццо .
Помимо фресок Золлер создавал гуашьюпейзажи с библейскими сюжетами.
В Вандойесе в Южном Тироле в его честь названа улица Йозеф-Антон-Цоллер-Штрассе.