En 2005, il rejoint l'Université de Miami et joue jusqu'en 2009 dans l'équipe de basket-ball des Hurricanes de Miami. Il ne connaît le football américain qu'au cours de sa dernière année, où il est aligné comme tight end et reçoit 17 passes pour 213 yards et 5 touchdowns.
Carrière professionnelle
Saints de La Nouvelle-Orléans
Bien que son expérience du football américain soit très réduite, il impressionne les recruteurs professionnels par ses qualités athlétiques. Il est finalement drafté en 2010 à la 95e position (troisième tour) par les Saints de La Nouvelle-Orléans.
Pour sa première saison, il est aligné comme remplaçant du tight end titulaire, Jeremy Shockey. Il ne joue que durant cinq rencontres, mais réceptionne pour 356 yards et inscrit 5 touchdowns. Pour la saison 2011, il est désigné tight end titulaire de son équipe et réalise une excellente saison en recevant 99 passes pour 1,310 yards et 11 touchdowns. Ces performances font de lui le premier tight end des Saints à dépasser les 1,000 yards à la réception et il est également invité pour le Pro Bowl. La saison suivante, il obtient des statistiques moins bonnes qu'en 2011 (982 yards reçus, 9 touchdowns) mais reste parmi les meilleurs tight ends de la NFL.
Seahawks de Seattle
Le , il est échangé aux Seahawks contre Max Unger et un choix de premier round à la draft de la NFL. En plus de Jimmy Graham, les Seahawks reçoivent un choix de 4e round à la draft .
Packers de Green Bay
Le , Graham signe pour 3 ans aux Packers pour un montant de 30 millions de dollars.