Народився 3 жовтня1946 у Донецьку. Українець; дружина Альбіна Іванівна (1946) — віце-президентка благодійного фонду; син Олександр (1969) — керівник комерційної структури (Держархбудінспекції України); дочка Наталія (1976) — працівник банківської установи.
Вища освіта: Донецький університет, економічний факультет (1968—1973), економіст, «Планування промисловості»; кандидатська дисертація «Управління фінансовими ресурсами території (на прикладі міст Донецької області)» (1996); докторська дисертація «Регулювання процесів ринкової трансформації системи доходів місцевого самоврядування» (Інститут економіки промисловості НАН України, 2001).
Кар'єра
З серпня 1968 по липень 1972 — майстер, Донецький БУ № 565.
Липень 1972 — грудень 1975 — начальник виробничо-технічного відділу БУ № 8.
Грудень 1975 — січень 1976 — головний інженер БУ № 1.
Січень — липень 1976 — головний інженер БУ № 5 тресту «Сантехелектромонтаж», Донецьк.
З липня по вересень 1976 — заступник начальника планово-виробничого відділу спецколони № 2, Донецький облміжколгоспбуд.
Наукова діяльність
Доктор економічних наук. Автор близько 50 наукових праць, зокрема: «Проблеми формування бюджетів органів регіонального та місцевого самоврядування» (1996), «Сучасне промислове місто: народногосподарський потенціал та проблеми розвитку» (1996), «Методичні підходи до міжтериторіального вирівнювання» (1996), «Проблеми реформування доходних джерел місцевих бюджетів» (1996), «Податки України: теорія та практика», підручника «Підвищення ролі управління» (1998).
Політична кар'єра
З вересня 1976 по серпень 1980 — голова парткомісії Київського РККПУ Донецька.
З серпня 1982 по жовтень 1983 — інструктор відділу організаційно-партійної роботи Донецького ОК КПУ.
З жовтня 1983 по вересень 1988 — секретар Київського РК КПУ Донецька.
З вересня 1988 до листопада 1992 — голова Київської райради і райвиконкому міста Донецька.
З листопада 1992 по вересень 1993 — перший заступник голови виконкому Донецької міськради народних депутатів.
До квітня 2002 — голова Донецької міськради народних депутатів; Донецький міський голова, обраний безальтернативно, за — 101 з 120. Був заступником голови Донецької облради (з серпня 1994). З 4 серпня 2006 по 21 березня 2007 — Віце-прем'єр-міністр України — Міністр будівництва, архітектури та житлово-комунального господарства України[3]. 21 березня — 18 грудня 2007 — Віце-прем'єр-міністр України[4].
Постійний представник КМ України у ВР України (листопад 2002[5] — лютий 2005[6]). Член Координаційної ради з питань місцевого самоврядування (вересень 1998 — грудень 2000); член Міжвідомчої комісії з питань місцевого самоврядування при КМ України (з липня 1998); член Національної ради з узгодження діяльності загальнодержавних і регіональних органів та місцевого самоврядування (з грудня 2000).
Голова Партії регіонів відродження України (жовтень 1997 — листопад 2000); співголова Партії регіонального відродження «Трудова солідарність України» (листопад 2000—2001); заступник голови Партії регіонів (березень 2001 — квітень 2003); голова Донецького обласного відділу Партії регіонів (до грудня 2003). Довірена особа кандидата на пост Президента України В. Януковича в ТВО № 45 (2004—2005)[7]. Перший заступник Голови Партії регіонів України з 23 квітня 2010.
Березень 1998 — кандидат в народні депутати України від ПРВУ, № 1 в списку.
Народний депутат України 3-го скликання з березня 1998 до квітня 2002, виборчий округ № 45, Донецька область. З'явилося на вибори — 60,2 %, за 43,5 %, 13 суперників. На час виборів: Донецький міський голова, член ПРВУ. Член фракції НДП (травень 1998 — лютий 1999), член групи «Відродження регіонів» (керівник — лютий 1999 — лютий 2000; уповноважений представник — лютий 2000 — березень 2001), керівник групи «Регіони України» (березень — листопад 2001), керівник фракції «Регіони України» (з листопада 2001). Перший заступник голови Комітету з питань державного будівництва, місцевого самоврядування та діяльності рад (липень 1998 — лютий 2000), перший заступник голови Комітету з питань державного будівництва та місцевого самоврядування (з лютого 2000).
Народний депутат України 4-го скликання з квітня 2002 до квітня 2006, виборчий округ № 45, Донецька область, висунутий Виборчим блоком політичних партій «За єдину Україну!». За 63,22 %, 20 суперників. Член фракції «Єдина Україна» (травень — червень 2002), член фракції «Регіони України» (червень 2002 — вересень 2005), член фракції Партії «Регіони України» (з вересня 2005). Член Комітету у закордонних справах (з червня 2002). Член Постійної делегації Верховної Ради України в ПАРЄ (з червня 2002).
18 лютого 2014 спікер відмовився реєструвати проєкт постанови опозиції про повернення Конституції 2004. Після цього опозиція заблокувала президію і трибуну Верховної Ради.[10] Це призвело до ескалації конфлікту, кровопролиття і вбивства великої кількості громадян України.
22 лютого 2014 подав у відставку[11]. Верховна Рада 326 голосами підтримала відкликання спікера.[12]
Згодом Рибак заявив, що після передачі влади в Україні в.о. президента Турчинову 2014 року він пішов на політичну пенсію. У своїх пізніших висловлюваннях підкреслював, що вважає реванш Януковича в Україні неможливим, оскільки Україна стала іншою й пішла вперед.[13]