Kannikestrete er en av flere gater som stammer fra middelalderbyen og hadde sitt utgangspunkt i øst mot de øverste bryggene ved elvebredden. Den gikk deretter vestover hvor den først krysset Langstretet, deretter Kirkestretet (St. Jørgensveita) før den deretter krysset Øvre geilan like nord for domkirken. Omtrent på katedralskolens gårdsplass svingte veien sørover mot dagens Elgeseter bru og utgjorde da en del av byens hovedferdselsåre. Kannikestrete var en viktig og velbrukt strekning som ikke lot seg regulere bort etter Johan Caspar de Cicignons nye byplan i 1681, og dens plassering mot øst kan også ha bestemt den nye bybroens endelige plassering i 1680.
Ordet som ligger til grunn for navnet, kannik, hørte til en katolsk institusjon. Kannik var betegnelsen på alle geistlige som arbeidet i et bispedømme, et medlem av presteskapet i domkirka - et råd av prester rundt erkebiskopen. Navnet ble brukt i middelalderen og trolig fram til ca. 1750, på grunn av kannikenes bosetting i eller i nærheten av veita.
Dagens gate har hatt flere navn opp igjennom tiden. Allerede i 1768 ble den omtalt som Bruveita etter Gamle Bybro, som ligger i fortsettelsen på østsiden av Kjøpmannsgata. Et annet navn på veita fra første halvdel av 1700-tallet var Anfinnsveita, et navn den fikk etter gårdeier Anfinn Jacobsen som eide en bygård i området. Også navn som Byggmesterveita, Bybrogaden og Bybroens veite er navn som har blitt brukt om gateløpet utover 1700-tallet. I 1975 fikk den igjen sitt nåværende navn.