D'Albon groeide op aan het hof samen met de latere koning Hendrik II van Frankrijk, omdat zijn vader gouverneur was van de koningskinderen. Hij kon hierdoor rekenen op koninklijke gunsten. Hij werd eerste kamerheer en lid van de Conseil privé van de koning. Na een succesvolle campagne tegen Spanje benoemde koning Hendrik II hem in 1547 tot maarschalk van Frankrijk en gouverneur van Lyon en Auvergne. Jacques d'Albon kocht het Kasteel van Vallery in Bourgondië en liet dit ombouwen van een middeleeuwse burcht naar een renaissancepaleis. Dit paleis werd geroemd als een van de mooiste van Frankrijk en was binnenin rijkelijk versierd met Turkse tapijten, Vlaamse wandtapijten en bont.[1]
Jacques d'Albon was getrouwd met Marguerite de Lustrac. Zij werd ervan verdacht om na zijn dood hun dochter te hebben vergiftigd om zo te kunnen beschikken over haar landerijen. Ze zou die als bruidsschat hebben willen inbrengen bij een verhoopt huwelijk met Lodewijk I van Bourbon-Condé.