Gruppen bestod ursprungligen av Country Joe McDonald, född 1 januari 1942 (sång, gitarr och munspel), Barry "The Fish" Melton, född 1947 (gitarr), Dave Cohen, född 1942 (gitarr och orgel), Bruce Barthol, född 1947 (bas), samt Chicken Hirsch, född 1940 (trummor). Denna uppsättning musiker spelade på gruppens tre första studioalbum, som alla nådde placering på Billboard 200-listan. Dessa räknas också av musikkritiker som deras bästa album. Gruppen medverkade på Woodstockfestivalen1969. När gruppens femte studioalbum CJ Fish lanserades 1970 var endast McDonald och Melton kvar från originaluppsättningen. Gruppen splittrades nästföljande år. De har dock sporadiskt återförenats. 1977 spelade originalupplagan av gruppen in ett nytt album. Främst är det dock Melton och McDonald som återförenats och uppträtt tillsammans.
Bandet, förutom Melton, kom igen tillsammans som Country Joe Band 2004. Samma år återupptog gruppen turnerandet, släppte singeln "Cakewalk to Baghdad" och livealbumet Live in Berkeley. Även om Country Joe Band upplöstes 2006, turnerar några av medlemmarna fortfarande ibland tillsammans.
