Herndon első könyve, az 1968-ban megjelent Ahogyan a dolgoknak lenniük kellene (vagy Így kéne – The Way It Spozed to Be) tanárkodásának első évét meséli el, amelyet Kalifornia egyik szegény, faji feszültségektől terhes városi iskolájában töltött. E könyvben az író az iskolai rendszer alkalmatlansága felett érzett elkeseredettségének ad hangot, valamint leírja az olvasás tanítása során tett újító próbálkozásait, amelyek miatt végül menesztették azzal az indokkal, hogy nem tud fegyelmet tartani.[4]
Herndon második könyve, a Túlélés saját hazádban (How to Survive in Your Native Land) 1971-ben jelent meg, és az ezt követő tíz év tanári tapasztalatait állítja középpontba. Humoros, feldobott stílusa miatt Kurt Vonneguthoz hasonlították.[5]
1973-ban magánkiadásban adta ki Everything as Expected ('Minden, ahogy számítottunk rá') című könyvét, melyben beszámol akkori felesége, Fran Herndon művészi együttműködéséről Jack Spicer költővel. A Herndon házaspár Jack Spicer San Franciscó-i köréhez tartozott.[6]
A Sorrowless Times ('Bánatmentes idők') James Herndon emlékiratai a II. világháború alatt haditengerészként töltött éveiről. 1981-ben jelent meg.[7]
1985-ben jelentette meg Notes from a Schoolteacher ('Egy tanár feljegyzései') című könyvét, melyben további elmélkedései szerepelnek az amerikai iskolai oktatásról, illetve arról, milyen szerepet töltött be a helyi tanárszövetség elnökeként.[8]