Dalton havde spillet i forskellige bands, der ikke opnåede større succes, og han havde egentlig forladt musikken, da han i 1966 af The Kinks blev spurgt, om han kunne være vikar for Pete Quaife, der havde brækket benet. Han blev kastet lige ud i jobbet, idet hans første optræden var i tv-showet Top of the Pops og to dage senere til en hel koncert, stort set uden at have øvet med gruppen. Kort efter var han med gruppen på turné til Norge og Spanien, og inden der var gået en måned, indspillede han musik i studiet med gruppen. Det er således Dalton, der spiller bas på hittet "Dead End Street". Efter knap et halvt år var Quaife klar igen, og Dalton vendte tilbage til sit job i kulbranchen.
Da Pete Quaife i 1969 forlod The Kinks, henvendte gruppen sig igen til Dalton, og han blev derpå permanent medlem af gruppen. I den periode indspillede gruppen otte album, og skønt den ekstatiske tid for gruppen fra 1960'erne var ved at være forbi, havde The Kinks stadig stor succes, og Dalton var med til at indspille hits som "Lola", "Apeman" og "Celluloid Heroes".
I 1976 forlod Dalton gruppen igen, men blev herefter i musikbranchen og spillede i mange år i gruppen The Kast Off Kinks, der primært består af tidligere Kinks-medlemmer som Mick Avory og John Gosling. Gosling og Dalton forlod denne gruppe i 2008. Dalton har dog siden ved enkelte lejligheder spillet med gruppen.
