Erste musikalische Erfahrungen sammelte Cannon in einer Gospelgruppe; mit neun Jahren begann er Bassgitarre zu spielen. Ersten Unterricht hatte er bei seinem Vater, einem Gitarristen; später studierte er an der University of Wisconsin - La Crosse, wo er 1978 bei einem Kurs auf Milt Hinton traf, was ihn veranlasste zum Kontrabass zu wechseln. Von 1978 bis 1982 studierte er am Musikkonservatorium von Wisconsin in Milwaukee. Seine Karriere begann er auf lokaler Ebene, als er die Sängerin Penny Goodwin begleitete.