Lige indenfor indløpet går de korte fjordarme Skulsfjorden og Lyfjorden mod øst. Fjorden fortsætter mod syd i det meste af sin længde, til den brat svinger mod øst det sidste stykke før fjordbunden. Indenfor Lyfjorden er der kun lidt bebyggelse langs fjordsiderne før den indre del af fjorden. Ved Kjosen inderst i fjordbunden ligger landsbyen Kaldfjorden, med bebyggelse et par kilometer ud langs begge sider af fjorden. Ved Kremmarvika på vestsiden er der kun knap en kilometer over Ersfjordeidet til Ersfjordbotn og Ersfjorden. Ved Kaldfjorden er der også en kilometer over et andet eid, Korteidet eller Kaldfjordeidet, til Eidkjosen ved Sandnessundet vest for Tromsøya og Tromsø.
Bruna, i nærheden af Grøtfjord, Kvaløya. Storvatnet i forgrunden og Kaldfjorden. Store Blåmann og Orvasstinden i baggrunden
Fylkesvej 862 går langs den inderste del af fjorden, fra Kaldfjorden til Henrikvika. Fra Henrikvika går fylkesvej 57 (Troms) langs vestsiden af fjorden. Til Lyfjorden og Skulsfjorden i nord går fylkesvej 58 (Troms), med færgeforbindelse fra Sommargamneset på sydsiden af Skulsfjorden til Vengsøya.
Det samiske navn Gallavuonna (evt. Gallavuotna) betyder «Kallfjorden», og viser altså da nærmere til begrebet «kall» (gammel mand) end til fjordens temperatur.
