Грачов Павло Сергійович народився 1 січня 1948 року в селі Рви Ленінського району Тульської області в сім'ї слюсаря Косогорського металургійного заводу Сергія Грачова (1924—1993). У 1964 році закінчив школу. З 1965 року в Радянській армії, вступив до Рязанського вищого повітрянодесантного командного училища, яке закінчив із золотою медаллю за спеціальностями «командир взводу повітрянодесантних військ» і «референт-перекладач з німецької мови» (1969). У 1969—1971 роках служив на посаді командира розвідувального взводу окремої розвідувальної роти 7-ї гвардійської повітрянодесантної дивізії в Каунасі (Литовська РСР). У 1971—1975 роках командир взводу, командиром роти курсантів Рязанського вищого повітрянодесантного командного училища.
У 1975 до 1978 роках — командир навчального парашутно-десантного батальйону44-ї навчальної повітрянодесантної дивізії. З 1978 до 1981 року слухач Військової академії ім. М. В. Фрунзе. М. В. Фрунзе, яку закінчив з відзнакою і після закінчення якої був направлений до Афганістану. З 1981 року брав участь у військових діях в Афганістані: до 1982 року — заступник командира, у 1982—1983 роках — командир 345-го гвардійського окремого парашутно-десантного полку. З 1983 року начальник штабу — заступник командира 7-ї гвардійської повітрянодесантної дивізії. Вдруге проходив службу на території Афганістану в 1985—1988 роках на посаді командира 103-ї гвардійської повітрянодесантної дивізії у складі Обмеженого контингенту радянських військ.
5 травня1988 року «за виконання бойових завдань за мінімальних людських втрат і за професійне командування керованим з'єднанням та успішні дії 103-ї повітрянодесантної дивізії, зокрема, із зайняття стратегічно важливого перевалу Сатукандав (провінція Хост) під час військової операції „Магістраль“», генерал-майору Грачову присвоїли звання Героя Радянського Союзу. Після повернення з Афганістану продовжував службу в повітрянодесантних військах на різних командних посадах. У 1988—1990 роках слухач Військової академії Генерального штабу Збройних сил СРСР.
Після закінчення був призначений першим заступником командувача Повітрянодесантних військ. З 30 грудня 1990 до 31 серпня 1991 року — командувач Повітрянодесантними військами СРСР.
19 серпня 1991 року Грачов виконав наказ ДКНСпро введення військ до Москви, забезпечив прибуття в місто 106-ї гвардійської повітрянодесантної дивізії з міста Тула, яка взяла під охорону стратегічно важливі об'єкти столиці. Незабаром перейшов на бік противників державного заколоту.
Певний час, на початку-середині 1990-х років, Грачов був близьким другом президента РосіїБориса Єльцина і обіймав посаду міністра оборони Російської Федерації з травня 1992 року по червень 1996 року. Грачов брав участь у подіях російської конституційної кризи 1993 року, під час яких він підтримував Єльцина. У листопаді 1994 року Єльцин назвав Грачова «найкращим міністром оборони десятиліття».
Грачов був фігурантом справи про корупцію в Західній групі військ у 1993—1994 роках. У російських ЗМІ неодноразово лунали звинувачення на адресу Грачова в незаконному придбанні імпортних автомобілів «Мерседес», які були оформлені за допомогою командування Західної групи військ. Жодне з цих звинувачень не було оскаржене Грачовим у суді, але він також не був притягнутий до відповідальності.
З кінця 1994 до 1996 року Грачов відіграв ключову роль в ініціюванні та керівництві Першою російсько-чеченською війною. Він був одним з авторів ідеї застосування сили для «відновлення конституційного порядку» в сепаратистській республіці Чечня і публічно обіцяв швидко розгромити чеченські сепаратистські сили «за пару годин одним парашутно-десантним полком». Подейкували, що він розпочав катастрофічний штурм Грозного, будучи напідпитку під час святкування свого дня народження 1 січня. Як коментував TIME у 1995 році: «Грачов нещодавно зауважив, що лише „некомпетентний командир“ може віддати наказ танкам вийти на вулиці центральної частини Грозного, де вони будуть вразливі (…) Проте наприкінці грудня він це зробив.» Врешті-решт, у липні 1996 року, після свого переобрання, Єльцин звільнив опального Грачова з посади. Перша російсько-чеченська війна невдовзі закінчилася, забравши життя понад 100 000 солдатів і цивільних осіб.
Грачова підозрювали у причетності до вбивства Дмитра Холодова, журналіста газети «Московский комсомолец», у жовтні 1994 року. На кримінальному процесі у військовому суді, де обвинуваченими були офіцери 45-ї гвардійської бригади спецназу, в 2001 році екс-міністр був змушений давати свідчення в якості свідка. Процес закінчився виправданням усіх підсудних, злочин залишився нерозкритим.
У грудні 1997 року Грачов був призначений старшим військовим радником державної корпорації «Рособоронекспорт», російського монополіста з експорту зброї. 25 квітня 2007 року Грачов був звільнений з цієї посади.
23 вересня 2012 року генерал армії Грачов П. С. у віці 64 років помер від гострого менінгоенцефаліту у військовому шпиталі імені Вишневського в Красногорську.