Jean de La Tour war der dritte Sohn von Bertrand III. de La Tour, Seigneur de La Tour († nach 1368), und Isabelle de Lévis († 1361). Drei seiner Brüder waren Bischöfe. Er war ein Neffe des Kardinals Bernard de La Tour (1342; † 1361) und ein Verwandter des Papstes Gregor XI. (ursprünglich Pierre Roger de Beaufort): zwei Schwestern des Papstes waren den beiden älteren Brüdern Jeans verheiratet (siehe Haus Rogier de Beaufort).