Á austurströnd flóans er kaupstaðurinn Húsavík en þaðan er vinsælt að fara í hvalaskoðunarferðir út á flóann enda er hvalagengd mikil þar. Við botn flóans eru miklir sandflákar en að vestanverðu gnæfa Víknafjöll, allt að 1100 metra há.
Við mynni flóans að vestanverðu liggur Flatey á Skjálfanda, en þar var umtalsverð byggð. Eyjan fór í eyði árið 1967. Austan megin við Skjálfanda er eyjan Lundey.