Ma fu con i Siouxsie and the Banshees, cui si unì nel 1979, che Budgie raggiunse la notorietà. Inizialmente Budgie avrebbe dovuto essere solo un sostituto temporaneo di Kenny Morris, che aveva improvvisamente lasciato la band nel corso di un tour: invece rimase membro dei Banshees fino al loro scioglimento nel 1996.
Dal 1983, inoltre, assieme alla cantante dei Banshees Siouxsie Sioux (che divenne sua moglie nel 1991), formò il gruppo The Creatures.