Il crée Bad Religion en 1980 à 15 ans avec quelques camarades de classe de son lycée à San Fernando Valley, au sud de la Californie. Après s'être fait un petit nom dans la scène punk de Los Angeles en sortant deux EP et deux albums, le groupe se sépare en 1985. Cependant, le groupe se reforme un an plus tard avec une nouvelle formation avec Graffin au chant, Brett Gurewitz et Greg Hetson à la guitare, Jay Bentley à la basse et Pete Finestone à la batterie. En 1988, le groupe sort l'album Suffer qui marque le retour du son punk Californien popularisé par le guitariste Brett Gurewitz, après un précédent album Into the Unknown, plus proche du rock progressif ou du hard rock. Cette formation enregistrera encore deux albums avant le départ de Finestone en 1991.
Bad Religion est particulièrement connu pour ses chansons rapides avec un chant très mélodique accompagné de paroles d'une forte acuité sociale et politique. Graffin et Gurewitz sont les deux principaux auteurs cependant Graffin se retrouvera seul à ce poste sur trois albums à la fin des années 1990 à la suite du départ de Brett Gurewitz en 1994 qui préfèrera s'occuper de son label Epitaph et de combattre son addiction à l'héroïne.
Il enseigne par ailleurs à l'université UCLA[3] et a publié plusieurs ouvrages, portant notamment sur les relations entre religion et théorie de l'évolution[4],[5]. Parallèlement à sa carrière musicale au sein du groupe Bad Religion, Greg Graffin a enregistré un album solo nommé American Lesion, en 1997, avec un son plus pop que ses productions habituelles. Le , Greg Graffin sort un second album solo nommé Cold as the clay, mêlant reprises de morceaux de musique traditionnelle des États-Unis et des morceaux originaux.[réf. nécessaire]
Graffin est l'auteur d'un manifeste sur l'« identité punk ». Il a aussi écrit un livre avec Steve Olson intitulé Anarchy Evolution: Faith, Science, and Bad Religion in a World Without God. Ce livre, paru en , évoque plusieurs sujets comme l'anarchie, la paix, le punk rock et la religion. En 2015, il fait paraitre le livre Population Wars: A New Perspective on Competition and Coexistence.