Gradneys Musikkarriere begann Anfang der 1970er Jahre, als er auf zwei Alben von Delaney & Bonnie spielte. 1972 ersetzte er dann Roy Estrada bei Little Feat und war bis zur Trennung der Band 1979 auf jedem ihrer Alben zu hören. Nebenbei betätigte er sich auch als Studiomusiker, unter anderem für Robert Palmer, Carly Simon und Chico Hamilton.
1983 schloss sich Gradney Bob Weirs Projekt Bobby & the Midnites an, bei denen er nur auf einem Album spielte, da sich die Band 1984 wieder trennte. Im Folgejahr half er dann Jimmy Barnes auf dessen selbstbenanntem Album und schloss sich 1988 wieder Little Feat an, die eine Reunion starteten. In den 1990er Jahren wurde Gradney auch wieder verstärkt als Session-Musiker aktiv, zum Beispiel auf Alben von Travis Tritt, Eric Martin und The Zoo.
