Carl Landry commence sa carrière universitaire lors de la saison 2002-2003 à Vincennes University, située à Vincennes, Indiana, où Shawn Marion et Bob McAdoo évoluèrent. Il réalise des moyennes de 14,7 points et 7,8 rebonds, mais manque la moitié de la saison à cause d'une blessure. Lors de sa deuxième année, ses statistiques montent à 19,6 points, 8,9 rebonds et 2,3 contres par match. Il est alors nommé dans la First-Team Junior College All-American et All-Region MVP.
Landry est transféré à l'université Purdue, située à West Lafayette, Indiana lors de son année junior en 2004–2005 et est le meilleur marqueur de la conférence avec 18,2 points et 7,1 rebonds par match. Il est nommé dans la Second Team All Big Ten Conference. Une blessure à un genou met un terme prématuré à sa saison. Landry est de retour pour la saison 2005–2006, mais se blesse de nouveau. Il décide alors de ne plus rejouer cette saison-là.
Pour sa cinquième saison en 2006–2007, Landry est le meilleur marqueur et rebondeur de l'équipe de Purdue. Il commence sa saison senior avec trois titres consécutifs de Big Ten Player of the Week, le seul joueur de l'histoire de la Big Ten Conference à réussir cette performance. Il mène l'équipe des Boilermakers au second tour du tournoi final NCAA en 2007. Il est de nouveau nommé dans la First-Team All-Big Ten.
Il termine sa carrière universitaire avec des moyennes de 18,9 points et 7,3 rebonds. Carl Landry est alors l'un des trois anciens joueurs des Boilermakers à évoluer en NBA, avec Brad Miller et Brian Cardinal.
Le , Landry est sélectionné au 31e rang de la draft 2007 par les Seattle SuperSonics (aujourd'hui le Thunder d'Oklahoma City). Il est immédiatement transféré aux Rockets de Houston contre un futur second tour de draft. Landry participe peu au début de saison, puis gagne petit à petit du temps de jeu aux côtés de Yao Ming. Il devient un joueur de complément important chez les Rockets lors de leur série de 22 victoires consécutives, la troisième plus longue série de l'histoire de la NBA.
En 2009, Landry devient free agent. Après une proposition de contrat de 3 ans et 9 millions de dollars par les Charlotte Bobcats, les Rockets lui offrent alors les mêmes conditions, lui permettant de rester à Houston. Avec un très bon début de saison 2010, il devient l'un des meilleurs sixième homme de la NBA avec Jamal Crawford. En février 2010, il est inclus dans un échange qui le fait atterrir à Sacramento.
Le 23 février 2011, il est échangé chez les Hornets de La Nouvelle-Orléans contre Marcus Thornton. Son importance dans l'effectif grandit avec la blessure au genou de David West. Il répond aux attentes de son club en effectuant des performances similaires.
Le 17 décembre 2011, Landry resigne avec les Hornets pour un an et neuf millions de dollars.
Le 1er août 2012, Landry signe avec les Warriors de Golden State. Il joue en tant que remplaçant de l'ailier fort en 2012-2013, Landry réalise sa meilleure moyenne de rebonds par match avec six prises et 10,8 points.
