Hij was mede-oprichter van punkband The Saints (1973–1978), experimentele post-punkgroepLaughing Clowns (1979–1985) en grunge-band The Aints! (1991–1994, 2017–heden). Hij heeft ook een dozijn solo-albums opgenomen en enkele soundtracks voor films. Ook maakte Kuepper deel uit van Nick Cave and the Bad Seeds; in 2009 volgde hij Mick Harvey op als tourgitarist in deze band nadat hij in 2008 als voorprogramma van Cave had gespeeld.
Discografie (solo)
Electrical Storm (Hot, October 1985)
Rooms of the Magnificent (True Tone/Hot, januari 1987)
Everybody's Got To (True Tone/Hot, juni 1988)
Today Wonder (Hot, oktober 1990)
Honey Steel's Gold (Hot/Shock, november 1991)
Black Ticket Day (Hot/Shock, augustus 1992)
Serene Machine (Hot/Shock, april 1993)
Character Assassination (Hot/Shock, juli 1994)
A King in the Kindness Room (Hot/Shock, oktober 1995)
I Was a Mail Order Bridegroom (Hot, 1995)
Exotic Mail Order Moods [Limited Edition] (Hot, 1995)
Frontierland (Hot, oktober 1996)
Starstruck: Music For Films & Adverts (Hot, december 1996)
Cloudland [Limited Edition] (Hot, december 1997)
The Blue House [Limited Edition] (Hot, 1998)
Reflections of Ol' Golden Eye (Hot, 1999)
Smile ... Pacific (Hot, juni 2000)
Jean Lee and the Yellow Dog (Hot, september 2007)
Ascension Academy [Prince Melon Bootleg Series Vol.13] (Prince Melon, 2010)
Second Winter (Prince Melon, maart 2012)
The Return of the Mail-Order Bridegroom (Prince Melon/Valve, 2014)