Ses premières influences musicales sont les Beatles, les Rolling Stones, T. Rex et Johnny Thunders. Il voulait jouer dans un groupe de rock'n'roll, mais, à l'époque, cela n'était pas possible à Cleveland. Il déménage alors à Los Angeles dans les années 80.
Son premier groupe est Candy. Ils enregistrent un album en 1985, Whatever happened to fun ?, et font une tournée en ouverture de Rick Springfield avant de se séparer.
Gilby se trouve un nouveau groupe, Kill For Thrills, qui enregistre un disque appelé Dynamite In Nightmareland.
Guns N' Roses
En , Izzy Stradlin quitte le groupe Guns N' Roses durant la première tournée du Use Your Illusion Tour. Le groupe cherche alors un remplaçant. Ils proposent d'abord à Dave Navarro (Red Hot Chili Peppers), mais ce sera finalement Gilby qui sera choisi. Durant sa première semaine avec le groupe, Gilby est mal à l'aise et ne sait pas vraiment ce qui va lui arriver car les membres du groupe sont toujours plus ou moins à la recherche de guitaristes. En effet, Axl Rose hésitait, mais après l'avoir écouté jouer sur Coma, il se décida à le garder. Il dut ensuite apprendre une quarantaine de chansons en une semaine et il continua la tournée jusqu'en 1993, où Gilby fut victime d'un accident de moto (il s'est brisé le poignet gauche) et fut exceptionnellement remplacé par Izzy pour la suite de la tournée.
La même année, il participe enfin à un album du groupe, The Spaghetti Incident?.
En 1994, Gilby dit avoir été viré après avoir donné une interview au magazine Kerrang!, dans lequel il disait qu'il y avait une mauvaise ambiance dans le groupe et que Axl Rose foutait le bordel. Il ajouta plus tard qu'il n'a pas vraiment été viré, mais que ses chèques ont simplement arrêté d'arriver.
Gilby a également collaboré avec Tracii Guns sur l'album The Roots Of Guns N' Roses. Cet album sorti en 2004 est un ensemble de démos de chansons qui deviendront des chansons des Guns N' Roses, telles que Anything Goes et Reckless Life, de l'ancien groupe de Axl Rose et Izzy Stradlin qui date du milieu des années 1980, Hollywood Rose.
En 2012, il est présent au Rock and Roll Hall of Fame lors de l'intronisation de Guns N' Roses. Il joue sur 3 titres en compagnie de Slash, Duff McKagan, Matt Sorum, Steven Adler et Myles Kennedy (Alter Bridge). Il n'est toutefois pas introduit comme membre du groupe.
En 1997, il continue sa carrière solo avec l'album Hangover, sur lequel on trouve les reprises de Happiness is a Warm Gun, de The Beatles, et de Hang on to yourself de David Bowie.
En 1998, il enregistre un nouvel album, Rubber. Y ont participé Eric Singer (Kiss), Brian Tichy, James Lorenzo, Ryan Roxie et Teddy Andreadis. C'est sans aucun doute son album le plus abouti.
En 2007, il sort une compilation de ses albums solos ainsi que deux chansons de Col. Parker project.
En 1999, Gilby produit l'album Shrinking Violet des L.A.Guns.
En avril et , Gilby part en tournée avec Tracii Guns, le guitariste des L.A. Guns et Eric Singer. Il en resort un album : 99 Live, composé de quelques titres enregistrés sur cette tournée.
En 2001, il forma Col. Parker project avec le claviériste additionnel pendant la tournée Use Your Illusion Tour, Teddy Andreadis, ainsi que Jim Phantom. Ils sortirent l'album Rock N Roll Music la même année.
En 2002, il travaille avec Nancy Sinatra sur son album California Girl. Un an plus tard, il rejoignit Heart sur leur tournée nationale.
En 2009, il participe au clip du groupe Fall Out Boy pour le titre I Don't Care.
