Nato in Galles da padre di Campobasso e madre gallese, si avvicinò al basso elettrico nel 1973, dopo aver fatto pratica per qualche tempo con la chitarra elettrica. Nel 1978 ha cominciato a suonare nel gruppo di supporto dei programmi di una emittente televisiva locale. Nel 1980 è entrato nel gruppo di Jools Holland e ha partecipato alla registrazione dell'album Jools Holland and the Millionaires.
Nel 2002 figura fra gli strumentisti accreditati nell'album Charango del gruppo musicalebritannicoMorcheeba. Nello stesso anno è diventato membro dei The Who nel 2002 dopo la prematura scomparsa di John Entwistle. Ha suonato con la band inglese per tutti gli anni a seguire in numerosi live.
Nell'estate del 2005 Palladino è stato in tour con Jeff Beck, accompagnandolo in numerose date internazionali.
Dalla sua formazione, nel 2005, è membro del John Mayer Trio (formato da John Mayer, Steve Jordan e Palladino). Il trio si è esibito in un live a Los Angeles l'8 dicembre 2007. Il concerto è stato registrato al Los Angeles Nokia Theatre (con la regia di Danny Clinch) ed il ricavato è stato devoluto a numerosi enti benefici della città. Inoltre, ha collaborato con Mayer in diversi live e nella realizzazione dei suoi album in studio.
Nel 2013 inizia una collaborazione con i Nine Inch Nails con cui registra alcune tracce dell'album Hesitation Marks, unendosi anche alla line-up della band negli show dal vivo.
Divenuto famoso nell'ambiente con il suo tipico tocco melodico sul fretless StingRay del 79, negli anni ha saputo cambiar pelle e stili musicali, arrivando ad essere considerato uno dei migliori e più influenti bassisti della scena internazionale. Anche la strumentazione odierna differisce avendo adottato strumenti Fender quali il Precision e il Jaguar. L'amplificazione usata è Epifani di cui è endorser, ma spesso utilizza anche due testate Ampeg SVT-VR abbinate a due cabinet Ampeg SVT-810AV e sistemi di amplificazione Ashdown e Fender.
Fender, nel 2005, ha realizzato il Fender Pino Palladino Custom Shop Precision Bass.[2] Questo strumento è stato costruito ispirandosi a due bassi che Palladino ha spesso adoperato negli anni. Il body, disponibile esclusivamente nella colorazione Faded Fiesta Red, riprende il colore di un Precision del 1961 di Pino Palladino, mentre il manico si rifà ad un Precision del 1963. Palladino, inoltre, adopera quasi esclusivamente bassi equipaggiati con corde flatwound, (in particolare le Thomastik-Infeld flat-wound bass strings).