Rugova muzulmán családban született. Apja a német megszállók oldalán harcolt a kommunistapartizánok ellen, akik 1945. január 10-én elfogták és kivégezték. Rugova albán nyelvet és irodalmat hallgatott a Pristinai Egyetemen, majd Roland Barthes tanítványaként irodalomtudományt a párizsiSorbonne-on. Az 1970-es években a pristinai Albanológiai Intézetben dolgozott, és több irodalmi és tudományos folyóiratot szerkesztett (Bota e Re, ’Új Idő’; Dituria, ’Tudás’; Gjurmime Albanologjike, ’Albanológiai Tanulmányok’). 1984-ben doktorált, és a Pristinai Egyetemen helyezkedett el mint az albán irodalom professzora. 1988-ban a Koszovói Íróegyesület elnöke lett.
Az 1989-es szerb invázió és Koszovó autonómiájának elvesztése után, még az év végén megalapította a Koszovói Demokratikus Ligát (LDK), amelynek egyúttal vezetője is lett. Politikai pályafutása során mindvégig Koszovó függetlenségének híve volt, de elkötelezett passzív ellenállóként nem tartott elfogadhatónak semmiféle erőszakot. Miután 1991-ben az albánokat kizárták a koszovói közéletből, a Rugova vezette LDK – a nyugat-európai albán emigráció támogatásával – árnyékkormányzatot hozott létre, amely megszervezte az albán etnikum oktatási és közegészségügyi hálózatát. 1992. május 24-én az albán közösség Rugovát tette meg a „Koszovói Köztársaság” elnökének. A nemzetközi diplomácia e címet nem ismerte el, de Rugovát elfogadta a koszovói albánság hiteles képviselőjének. Övéi körében azonban 1995 után megrendült a belé vetett bizalom, pacifizmusát kritizálták, s egyre erőteljesebbek lettek a fegyveres harc szükségességét hirdető hangok. A frissen megalakult Koszovói Felszabadítási Hadsereg(Ushtria Çlirimtare e Kosovës, UÇK)1997-ben függetlenségi harcba hívta az albánokat, válaszlépésül a szerbek támadásokat intéztek az albán civil lakosság ellen. A polgárháborúba 1999. március 24-én beavatkozott a NATO, és két és fél hónapon keresztül bombatámadásokat intézett Szerbia ellen. Ennek nyomására a szerb erők június 10-én kivonultak Koszovóból, s a tartomány igazgatását az ENSZ, a katonai ellenőrzést a KFOR vette át.
A bombázások során Rugovát és családját pristinai házi őrizetben tartották. Április 2-án, politikai pályafutása mélypontjaként a szerb televízióban NATO-ellenes állásfoglalást adott közre Slobodan Milošević oldalán, bár hívei szerint kényszerítették e szereplésre.
A 2000. október 29-én és november 4-én megtartott koszovói helyhatósági választásokon a stabilitást jelképező Rugova pártja, az LDK szerezte meg a szavazatok 53%-át, megelőzve a Koszovói Felszabadítási Hadsereg vezetőiből álló pártot. 2002. március 4-én választották meg a nemzetközi igazgatás alatt álló Koszovó elnökévé, s pártja nyerte meg a törvényhozási választásokat is. A tartományban azonban továbbra sem szűntek meg az albán–szerb konfliktusok, a szerb civilek elleni támadások felerősödtek, s ezeknek sem az ENSZ-adminisztráció, sem Rugova nem volt képes elejét venni.
Rugova, bár muzulmán családban született és nőtt fel, élete végén áttért a római katolikus vallásra. Hatvanegy évesen, tüdőrákban halt meg, temetése egyházi szertartás nélkül zajlott.
