Béliveau je kariero začel v ligi QJHL, kjer je igral za kluba Victoriaville Tigres in Quebec Citadelles ter nato v ligi QMHL za Quebec Aces. V ligi NHL je debitiral v sezoni 1950/51, ko je odigral le dve tekmi za Montreal Canadiense, za katere je skupno igral dvajset NHL sezon, v katerih je odigral 1125 tekem rednega dela, na katerih je dosegel 507 golov in 712 podaj, ter 162 tekem končnice, na katerih je dosegel 79 golov in 97 podaj. S klubom je desetkrat osvojil Stanleyjev pokal, v sezonah 1955/56, 1956/57, 1957/58, 1958/59, 1959/60, 1964/65, 1965/66, 1967/68, 1968/69 in 1970/71. Med sezonama 1961/62 in 1970/71 je bil tudi kapetan kluba. Šestkrat je bil izbran v prvo moštvo zvezd lige NHL, štirikrat v drugo. V sezoni 1955/56 je osvojil Art Ross Memorial Trophy, Conn Smythe Trophy in Hart Memorial Trophy, ki jo je ponovno osvojil v sezoni 1963/1964. Štirinajstkrat je nastopil na tekmi vseh zvezd lige NHL.
Montreal Canadiensi so upokojili njegov dres s številko 4. Leta 1972 je bil sprejet v Hokejski hram slavnih lige NHL, leta 1975 pa še v Kanadski športni hram slavnih. Po koncu igralske kariere je ostal v klubu kot športni direktor, zato je njegovo ime zapisano na Stanleyjevem pokalu še sedemkrat, v sezonah 1972/73, 1975/76, 1976/77, 1977/78, 1978/79, 1985/86 in 1992/93, skupno rekordnih sedemnajstkrat.[5]