Bygdenavnet kommer af beliggenheden ved fjeldet Kaldbakur (nu Kaldbakskambur).
Kaldbaksfjørður er dyb og lang. På sydsiden af fjorden ligger den lille bygd Sund, og lidt længere inde på nordsiden bygden Kaldbaksbotnur og i nærheden af fjordens udløb Kaldbak. Langs med nordsiden af fjorden er der havdambrug, hvor man opfostrer laks, ørreder og kammuslinger. Langs med landevejen ses fodersiloer og foderet tilsættes automatisk via slanger fra fodersiloerne ud til bassinerne.
I 1970'erne og 80’erne producerede man glasfiberbåde i Kaldbak. Bådene, der har samme udseende som den traditionelle Færøbåd, var meget populære, og ses stadig over hele landet.
Kaldbak fik sin første skole i 1911, med et klasseværelse. Skolen blev udvidet i 1970, 1982 og 2003. Skolen har tre klasseværelser og et lærerværelse. Der er ingen gymnastiksal, men de store elever tager Eysturskúlanum i Tórshavn, hvor de også undervises i specialfagene.
Kaldbaks kirkja er en typisk færøsk trækirke fra 1835, som blev renoveret i 1847. Som andre i de traditionelle trækirker fra perioden 1829-49 er den opført af tjæret tømmer, med et tag af græstørv.
Turisme
Når der er kraftige regnbyger er Kaldbaksfjørðurs nordlige fjeldsider domineret af hundreder af mindre vandfald.
Der er cirka 17 km fra Tórshavn til Kaldbak. Fra havneterminalen i Tórshavn følges ruten Yviri við Strond, Eystari Ringvegur hvor man drejer til højre ad Hvítanesvegur, som fører til bygden Hvítanes, hvorfra der er udsigt over Tangafjørður og Færøernes længste fjord, Skálafjørður. Fortsæt videre ad Kaldbaksvegur, og fra højspændingsværket ved Sund er der udsigt ind over hele Kaldbaksfjørður. I bunden af fjorden, over for Kaldbaksbotnur, hæver fjeldet Sornfelli sig. Følg vejen rundt om fjorden. Der er mulighed for at se ørred og laks springe i havbrugene langs med vejen til Kaldbak, hvorfra der er udsigt til Nólsoy.