Бебек је рођен у Сарајеву.[1] Рано је показао интерес за музику, забављајући мајчине госте тако што је певао песме које је чуо на радију. Такође је експериментисао са усном хармоником, али ју је оставио у трећем разреду основне школе, пошто је желео да свира гитару и пева. Његов учитељ се, међутим, није сложио с тим, тако да је Жељко уместо тога почео свирати мандолину. Убрзо је постао најбољи мандолиниста у школи, па му је дозвољено да свира гитару.
Са шеснаест година први пут је засвирао у бенду, у забавном клубу „Ехо 61“ Друге гимназије, где је упознао Корнелија Ковача, Зорана и Фадила Реџића. Када се групa распала, Бебек је наставио да свира са браћом Реџић све до Фадиловог преласка у Индексе. У то време Едо Богељић га позива у групу Кодекс. Био је певач и ритам-гитариста Кодекса 1960-их. Око 1969. је упознао Горана Бреговића и почео да пева са њима. 1969. године свирају у дубровачком бару „Сплендид“, где их је уочио Италијан Ренато Пацифико и понудио им да свирају у његовом клубу у Напуљу. Група је прешла у Италију и имала више него успешну каријеру све док Милић Вукашиновић није ступио у групу, доневши са собом нови музички утицај и група је почела да занемарује Жељка, пошто им више није био потребан певач. Бебек је напустио групу 1970, вратио се у Сарајево и поново основао Нове Кодексе са Едом Богељићем (који је напустио Кодексе пар месеци пошто су отишли у Италију). Група је имала мало успеха али је Жељко убрзо морао да служи војску.
Након периода непријатељства, 1972. (након Бебековог повратка из војске) Бреговић је позвао Бебека да пева са његовом новом групом Јутро, које се убрзо трансформисало у Бијело дугме.
Бебек је наставио каријеру као певач и повремени бас-гитариста Бијелог дугмета од 1974. до 1984. Године 1978. је снимио соло албум „Скоро да смо исти“ са бубњаром Ђиђијем Јанкелићем, гитаристом Едом Богаљићем и клавијатуристом Невеном Поцрњићем. Албум није имао велики успех. 1984, мало пре напуштања Бијелог дугмета, Бебек је снимио свој други соло албум, „Мене тјера неки враг“. Групу је званично напустио 23. априла1984. године. Својим ауторским албумом из 1985. „Жељко Бебек и Армија Б“ покушао је да се врати на музичку сцену, али без великог успеха.
У соло каријери снимио је неколико хитова, попут „Шта је мени ово требало“, „Дабогда те вода однијела“, „Како дошло, тако прошло“, „Кучка невјерна“, „Синоћ сам пола кафане попио“ (за коју је текст написао Бора Ђорђевић), „Ил' ме жени, ил' тамбуру купи“.
