Fils de Leonetto de' Rossi et de Maria de Médicis fille illégitime de Pierre de Médicis, et de ce fait membre de la famille de Médicis, neveu de Laurent le Magnifique et cousin du papeLéon X, qui le nomma cardinal avec le titre honorifique de Saint-Clément au consistoire du . Il est éduqué avec Jean de Médicis, le futur pape Léon X. On ne sait pas grand-chose de ses premières années , Cardella [1] rapporte cependant, comment dans sa jeunesse il a fait preuve « ... d'un jugement mûr et d'une rare prudence dans la conduite des affaires. .. ».
Il est créé cardinal par le pape Léon X lors du consistoire du . Le cardinal de' Rossi est pro-dataire du pape. Fidèle de Léon X, à tel point que le Pape se fait représenter par Raphaël dans un célèbre portrait conservé au Musée des Offices à côté de ses deux cardinaux parents : Giulio de' Medici, futur pape Clément VII et Luigi de' Rossi. Il meurt à Rome le et est inhumé dans la basilique Saint-Pierre, alors un chantier à ciel ouvert, et ce n'est que plusieurs années plus tard que son corps fut transféré à Florence, dans l'Église Santa Felicita de Florence.