Первинно територія Голландії була населена фризами. На початку IX століття ця територія була завойована імператором Карлом Великим й включена до складу франкської Каролінзької імперії. Після розподілу імперії за Верденською угодою в 843 році територія Голландії увійшла до складу «Серединного королівства», що дісталось імператору Лотару I. Після смерті Лотара його володіння було розподілено між трьома синами, при цьому територія Голландії увійшла до складу королівства Лотара II, що отримало назву Лотаринзьке королівство. Після смерті Лотара II за його спадщину сперечались Західне Франкське й Східне Франкське королівства, поки 925 року Лотарингія остаточно не була приєднана до Східного Франкського королівства Генріхом I Птахоловом, який визнав герцогом Лотарингії Гізельберта, у шлюб з яким видав свою дочку Гербергу. У 939 році Гізельберт взяв участь у повстанні проти короля Оттона I й загинув. Лотарингія у підсумку в 953 році дісталась брату Оттона, Бруно Кельнському, який у 956 році розділив Лотарингію на 2 частини: Верхнє Лотаринзьке герцогство і Нижнє Лотаринзьке герцогство. Територія Голландії увійшла до складу Нижньої Лотарингії.
У IX — X століттях територія Фризії страждала від набігів норманів. Наприкінці IX століття імператор Карл III Товстий для того, щоб захистити свої володіння від набігів норманів, визнав близько 882 року одного з норманських вождів, Готфріда, герцогом Фризії. Однак Готфрід продовжив напади. В результаті проти нього в 885 році було складено змову фризької й саксонської знаті, одним з очільників якої був Герульф, граф Західної Фрисландії. В результаті Готфрід був убитий. В нагороду Герульф отримав від короля Східно-Франкського королівства Арнульфа Каринтійського Західну Фризію. Герульф вважається батьком Дірка I, першого правителя графства, яке пізніше отримало назву Голландія.
У 922 році Дірк I, граф Кенемерланду, отримав від короля Західного Франкського королівства Карла III Простакуватого володіння поблизу Егмонда — у містечку під назвою Бладелла. Саме від цієї події веде свою історію Голландське графство.
Про перших графів відомо не багато. Вони носили титул граф Фризії або граф Західної Фрисландії. Більша частина їхніх земель була болотистою й постійно затоплювалась. Через це графство було малонаселеним, основне населення жило в дюнах на узбережжі й в укріплених районах біля річок. Тому перші графи старались розширити свої володіння за рахунок сусідніх народів. В правління графа Арнульфа почались конфлікти із західними фризами. Він вторгся у 993 році на їхню територію, але був убитий.
За сина Арнульфа, Дірка III Єрусалимського (помер 1039) у 1001 році області, що перебували під його владою вперше було названо Голландією, хоча стара назва ще переважала. У 1018 році Дірк III вступив у конфлікт з імператором Священної Римської імперіїГенріхом II Баварським. Приводом до конфлікту послужило будівництво замку Влардінген в гирлі Маасу, що призвело до значного зменшення прибутків від торгівлі в Утрехті. Імператор вирішив втрутитись й відрядив армію на чолі з герцогом Нижньої ЛотарингіїГотфрідом II. Однак битва під Влардінгеном 29 липня 1018 року завершилась розгромом імперської армії, загинуло багато воєначальників, а сам герцог Готфрід потрапив у полон. Ця перемога зміцнила становище Дірка, а згодом він ще й розширив свої володіння за рахунок земель Утрехтського єпископства.
За спадкоємців Дірка III конфлікти з імператорами через захоплені землі продовжились. Імператор Генріх III у 1046 році особисто очолив похід проти графа Дірка IV, що продовжив політику батька із захвату земель, змусивши його повернути деякі завоювання. Однак після відходу імператора він продовжив плюндрувати володіння єпископів Утрехта і Льєжа, а також вступив у союз з графами Ено, Фландрії й герцогом Нижньої ЛотарингіїГотфрідом III. У 1047 році імператор Генріх захопив та зруйнував замок Райнсбург, але під час відступу його армія зазнала серйозних втрат, після чого союзники відкрито повстали проти імператора. Однак 13 січня 1049 року Дірка заманили в засідку поблизу Дордрехта й обєднаним силами Утрехтського, Льєзького і Мецького єпископств вбитий. Його брат, Флоріс I, що спадкував йому, також загинув в одній із битв у 1061 році.
Вдова Флоріса I, Гертруда Саксонська (померла 1113), що стала регенткою при малолітньому сині, Діркові V, не змогла перешкодити захопленню єпископом Утрехтським Віллемом I спірних територій між єпископством і графством, причому імператор Генріх IV затвердив це захоплення. Тоді Гертруда другим шлюбом одружилася з Робертом I Фризьким, братом графа Фландрії й Ено Бодуена VI, розділивши з ним управління Голландією. Після смерті брата у 1070 році Роберт організував повстання проти малолітніх племінників, Арнульфа III та Бодуена II, що перебували під опікою матері. Він захопив Гент й проголосив себе графом Фландрії. З війни, що спалахнула, переможцем вийшов Роберт, який зберіг Фландрію. Ставши повнолітнім, Дірк V у 1076 році за підтримки вітчима зміг відвоювати спірні території у єпископа Утрехта. Остаточно конфлікт з єпископами Утрехтськими згас у часи правління сина Дірка V, Флоріса II Товстого, який уклав мир з єпископом. Окрім того, Флоріс зміг придбати Рейнланд (Лейден з околицями), а з 1101 року за Флорісом було визнано титул граф Голландський. З цього часу назва Голландія остаточно витісняє назву Фризія.
Після смерті Флоріса II лишились малолітні діти Дірк VI та Флоріс Чорний, опікункою стала їхня мати Петронела (Гертруда), дочка Тьєррі (Дитріха) II, герцога Верхньої Лотарингії. Законним графом був Дірк, однак Флоріс Чорний за підтримки матері повстав проти брата 1129 року, отримавши при цьому підтримку західних фризів, причому його визнали як графа король Німеччини Лотар та єпископ Утрехта. У 1131 році брати помирились, але невдовзі Флоріс знову повстав. Король Лотар в серпні 1132 року зміг помирити братів, згодом було придушено й повстання фризів. Але в жовтні того ж року Флоріса заманили в пастку й убили, після чого Дірк лишився одновладним правителем. Пізніше він завдяки шлюбу зі спадкоємицею Бентгаймського графства зміг розширити свої володіння. Окрім того, за Дірка VI посилився вплив на утрехтських єпископів. Дірк постійно втручався у вибори нових єпископів та підтримував місто у боротьбі проти прелата. Пізніше, у XIII столітті, Утрехтське єпископство остаточно втрапило під контроль графів Голландії.
Син Дірка VI, Флоріс III, був лояльним васалом імператора Фрідріха I Барбаросси. Він брав участь у двох італійських походах імператора, а також у Третьому хрестовому поході, під час якого Флоріс і помер. Окрім того, імператор дав Флорісу право на збір податку в Голландії, фактично легалізувавши практику, що існувала з XI століття. За Флоріса почалось будівництво гребель та дамб, що викликало притік селян до графства. Також було визначено кордон між графством та Утрехтським єпископством. Також Флоріс почав завоювання Фрисландії.
За Флоріса почалась боротьба між Голландським та Фландрським графствами за володіння Зеландією, що тривала до кінця XIII століття. Фландрія, суверенітет якої сягав на всю південну Зеландію, володіла правами на гирла Шельди і, частково, Мааса й Рейна. Голландські графи здавна намагались позбавитись цього. Флоріс обложив фландрських купців новими податками що спричинило війну з графом Філіпом Фландрським, яка завершилась поразкою Флоріса. В результаті цього він у 1168 році був змушений визнати Філіпа сюзереном Зеландії.
Жан помер 1304 року, йому спадкував його старший син Вільгельм (Гильйом) I Добрий (1286—1337). Він був змушений боротись проти Фландрії та Брабанту. У 1323 році він уклав угоду з графом Фландрії Людовіком I Неверським, за якою граф Фландрії відмовлявся від претензій на Зеландію, а Вільгельм відмовлявся від претензій на імперську Фландрію. Ця угода завершила династичний розбрат між Дампьєрами й Авенами.
Вільгельму вдалось підкорити Західну Фрисландію, а також він долучив до своїх володінь Утрехтське єпископство. Пізніше він видав свою дочку Філіпу за короля АнгліїЕдуарда III, іншу дочку, Маргариту, він видав за імператора Людовіка IV Баварського. У 1337 році він постав на чолі імперських князів, що вступили в союз з Англією. Цей союз дав поштовх до початку воєнних дій у Столітній війні. Незабаром Вільгельм помер. Його син, Вільгельм II (1307—1345), брав участь у Столітній війні на боці Англії. У 1345 році він узяв в облогу Утрехт, єпископ якого прагнув вийти з-під його влади. Після укладення миру він вирушив придушувати повстання у Фрисландії, де й загинув.
Після смерті чоловіка Маргарита вирішила управляти графствами самостійно. Один з її синів, Вільгельм III (1330—1388), герцог Баварсько-Штраубінський з 1347, повстав проти матері, вимагаючи передати управління Голландією та Зеландією йому. Цей конфлікт отримав назву Війна гачків і тріски. Незважаючи на англійську допомогу, Маргарита зазнала поразки й у 1354 році була змушена передати управління графствами йому. Після смерті матері у 1356 році Вільгельм успадкував і Ено. Але пізніше у нього почались напади божевілля, після чого він 1358 року був поміщений до замку Гаага. Регентом його володінь, у тому числі й Ено, став інший син Маргарити, Альберт (1336—1404). Йому довелось битись із герцогом ГелдернуЕдуардом, усмиряти заколоти знаті. Згодом він наладив стосунки з Францією. Після смерті брата Вільгельма у 1388 році він успадкував всі його володіння. Після його смерті у 1404 році йому спадкував старший син Вільгельм IV (1365—1417). Він був змушений придушувати заворушення сеньйорів Аркеля в Ено, згодом він допоміг своєму брату Іоанну, зміщеному 1406 року з посту єпископа Льєжа, повернути у 1408 році свій пост. Прихильник герцогів Бургундії, Вільгельм втрутився на їхньому боці в громадянську війну Арманьяків та Бургіньйонів. У 1415 році Ено було розорене військами, що брали участь у битві під Азенкуром.
Після смерті у 1417 році Вільгельма IV його володіння мала успадкувати дочка, Якоба (1401—1436). Але її дядько, єпископ Льєжа Іоанн III (1375—1425), склав із себе сан єпископа й пред'явив світські права на володіння брата. В результаті вона зберегла за собою лише Ено, а Голландія, Зеландія і Штраубінг дістались Іоанну. Якоба безуспішно боролась за повернення своєї спадщини, для чого спочатку у 1418 році одружилася з герцогом БрабантуЖаном IV, а потім, зрозумівши, що чоловік їй допомогти не може, покинула його й знайшла притулок в Англії, де, анулювавши попередній шлюб, одружилася з Гемфрі, герцогом Глостеру. Після смерті Іоанна III протектором Голландії та Зеландії став герцог Бургундії Філіп III Добрий, з яким Якоба була змушена помиритись. За угодою в Дельфті 3 червня 1428 року Якоба була визнана графинею Ено, а Філіп став намісником її володінь та спадкоємцем. У 1432 році вона підбурила повстання в Генті проти Філіпа, але його було придушено й у квітні 1433 року Якоба була вимушена зректись графства на користь Філіпа. З цього моменту Голландія остаточно увійшла до складу Бургундського герцогства.