Agee verloor zijn vader op zesjarige leeftijd, na een auto-ongeval. Hij bracht zijn jeugd grotendeels door op internaten en studeerde daarna aan de Harvard Universiteit. Na de afronding van zijn studie werd hij journalist, onder andere voor de tijdschriften Fortune en Time. Later maakte hij ook naam als filmrecensent.
Frank Tengle, Bud Fiels en Floyd Burroughs, uit Let Us Now Praise Famous Men
Reeds tijdens zijn Harvard-periode schreef Agee een bundel poëzie onder de titel Permit Me Voyage (1934). In 1936 kreeg hij met fotograaf Walker Evans van Fortune de reportageopdracht om “de crisis in beeld brengen”, hetgeen uiteindelijk het in zijn soort baanbrekende fotoboek Let Us Now Praise Famous Men: Three Tenant Families (1941) opleverde. Het werk beschrijft de lotgevallen van drie kleine pachterfamilies in het zuiden van de Verenigde Staten, bitter, maar doordrongen van een diepgewortelde sympathie.
In 1951 volgde zijn novelle The Morning Watch, over de religieuze ervaringen van een twaalfjarige jongen in Tennessee. Agees grootste literaire succes werd uiteindelijk zijn autobiografische roman A Death in the Family (1957), een minutieus beschreven episode in het leven van een middenstandsgezin, waar de vader plotseling sterft en een zesjarig zoontje perplex achterblijft. In 1958 kreeg Agee hiervoor (postuum) de Pulitzerprijs.
