Er stammte aus einer Genueser Patrizierfamilie und war der Sohn von Cipriano Pallavicino und dessen Ehefrau Bianca Gattilusi. Sein Onkel, der auch die Erziehung des jungen Giovanni Battista übernahm, war Kardinal Antonio Gentile Pallavicini. Später studierte er Recht und Literatur und erlangte einen Doktorgrad im Recht an der Universität Padua. Er war Dekan am Kathedralkapitel in Orense und Kommendatarabt verschiedener Klöster.