O'Sullivan flyttade med sin familj till England 1960 efter att föräldrarna fått erbjudande om arbete där. Han skivdebuterade 1967, då under artistnamnet Gilbert. Han komponerade låten "My Advice to You" för Paul Jones, vilken blev en mindre hit i Sverige 1969.
1970 fick han skivkontrakt på producenten Gordon Mills bolag MAM Records, efter att ha skickat demoinspelningar till honom. Mills var vid tiden manager åt Tom Jones. Han fick sin första Englandshit sent 1970 med låten "Nothing Rhymed" och uppmärksammades för sin klädstil där han hämtade inspiration från 1920-talet och 1930-talet. I Skandinavien kom genombrottet 1972 med låten "Matrimony".[2] Han hade sina största framgångar samma år då låten "Alone Again (Naturally)" blev singeletta i USA[3], och "Clair" toppade Englandslistan.[4] Efter dessa framgångar ändrade han sin stil och började bära en collegetröja med bokstaven G på.
Även 1973 fick O'Sullivan större hitlåtar med "Get Down" och "Ooh Baby". Efter några år med mindre hits fann O'Sullivan att hans kontrakt med MAM Records var mycket fördelaktigt för ägaren Gordon Mills. Detta ledde till att han vidtog rättsliga åtgärder för att få kontrollen över sina låtar, något också en domstol slog fast att han hade rätt till 1982. O'Sullivan hade haft en sista mindre hit 1980 med låten "What's in a Kiss?" men försvann i princip helt från listorna efter domstolsbeslutet. 1991 var han involverad i ytterligare en rättstvist rörande sampling, där rapartisten Biz Markie använt partier ur hans låt "Alone Again (Naturally)" utan tillstånd.[5][6] Även här föll utslaget till O'Sullivans favör, och domen fick avgörande betydelse[förtydliga] i hur sampling får användas.
Under 2000-talet och 2010-talet har han fortsatt ge ut ny musik på små skivbolag, och uppträtt. Han är särskilt populär i Japan.
