В VI веке территорию, где ныне стоит Инвернесс, населяли племена пиктов. Известно, что в нескольких километрах к западу от современного города находилась цитадель пиктского короля Бриде I, которого около 565 года посетил монах св. Колумба, проповедник христианства в Шотландии[4]. Считается, что первый замок Инвернесса, представлявший собой деревянную крепость, был построен около 1057 года по указу короля Малкольма III и впоследствии разрушен королём Робертом Брюсом. Шекспир в пьесе «Макбет» описал замок как резиденцию короля Макбета и место гибели Дункана I, что, впрочем, не соответствует реальным событиям[5].
В 1214 году король Вильгельм Лев пожаловал Инвернессу четыре хартии, одна из которых даровала ему статус королевского города. В те времена Инвернесс был достаточно процветающим портом, жители которого занимались в основном рыболовством. В 1233 году в городе был основан доминиканский монастырь, а в середине XIII века через реку Несс был перекинут мост. В XV веке Инвернесс пережил два опустошительных набега — в 1411 году, незадолго до битвы при Харлоу, он был сильно поврежден пожаром, устроенным по указу Дональда Макдональда, лорда Островов, затем, в 1428 году, его разграбил и частично разрушил Александр Макдональд, лорд Островов[6].
В 1562 году по распоряжению Джорджа Гордона, 4-го графа Хантли и видного политического деятеля тех лет, королеве Марии Стюарт было отказано в доступе в замок Инвернесса (к тому времени он был заново отстроен из камня). Открытое неповиновение графа привело к тому, что сторонники королевы из кланов Фрейзер и Манро взяли замок, повесили его коменданта, а сам Хантли был обвинен в измене[4][5]. В 1644 году, взамен обрушившегося деревянного моста через Несс, был построен мост из камня, который просуществовал вплоть до 1849 года, пока не был разрушен во время половодья.
В середине XVII века во времена протектората Оливера Кромвеля на окраине города по его приказу была возведена цитадель, которая уже в 1662 году была практически полностью разобрана на камни для строительства госпиталя (сохранилась лишь часовая башня). 16 апреля 1746 года неподалёку от Инвернесса произошла битва при Каллодене. В этом сражении шотландское ополчение Карла Эдуарда Стюарта, т. н. Молодого претендента, было разбито англичанами под предводительством герцога Кумберлендского[6].
На протяжении XVIII века Инвернесс оставался достаточно процветающим портовым городом. Наиболее важными отраслями экономики были пивоваренная промышленность и производство виски, а в XIX веке развитие получили судостроение, дубление кож, овцеводство и экспорт шерсти. 1882 год был ознаменован открытием Каледонского канала, связавшего Инвернесс с западным побережьем Шотландии. В 1855 году в городе появилось железнодорожное сообщение[6]. 7 сентября 1921 года в Инвернессе состоялось экстренное заседание Кабинета министров Великобритании — единственное в истории, прошедшее за пределами Лондона, — когда премьер-министр Дэвид Ллойд Джордж, в то время пребывавший на отдыхе на севере Шотландии, инициировал встречу правительства, чтобы обсудить критическую ситуацию, связанную с борьбой за независимость в Ирландии[7].
В XX веке город достаточно активно развивался — за столетие его население выросло более чем в два раза, составив к началу XXI века более 50 000 человек. В 2000 году Инвернесс официально получил статус города (city)[8].
