Der Ort besteht aus einer relativ großen Kirche, der Skálholtsdómkirkja (erbaut von 1956 bis 1963), dem Wohnsitz des Weihbischofs und einem kleinen Schulkomplex. Der Ort ist trotz seiner geringen Größe von bemerkenswerter Bedeutung für die Geschichte des Landes, war er doch seit dem Mittelalter neben Hólar der wichtigere Bischofssitz von Island (gegründet 1056). Damit hatte Skálholt als kulturelles und politisches Zentrum über viele Jahrhunderte ähnliches Gewicht wie Þingvellir.
Die erste Lateinschule des Landes (heute: Menntaskólinn í Reykjavík) wurde Ende des 12. Jahrhunderts in Skálholt gegründet.
1550 wurden hier der letzte katholische Bischof Islands, Jón Arason, und seine Söhne hingerichtet.