Народився в Кабулі у родині армійського генерала. Пращури Кармаля по лінії батька були вихідцями з індійського Кашміра, які переїхали до Кабула за часів, коли Кашмір належав імперії Дуррані. На новому місці вони асимілювались із таджицькою громадою Кабулу. Його батько приховував своє непуштунське походження і розмовляв тільки мовою пушту. Мати Кармаля була перськомовною пуштункою з племені Гільзаїв. Справжнім ім'ям Кармаля було Султан Хуссейн, яке він замінив на подібне, типове афганське ім'я. В Кабульському університеті захопився ідеями комунізму. 1965 року вступив до Народно-демократичної партії Афганістану (НДПА). Очолив фракцію «Парчам». У 1965—1973 роках був депутатом парламенту країни.
Після Квітневої революції1978 року став заступником голови Революційної ради, але вже влітку 1978 року був усунутий з цієї посади й відряджений послом до Чехословаччини. Восени 1978 року був звинувачений в організації антиурядової змови і знятий з посади посла. Залишився в еміграції.
Після введення сил Радянської Армії в Афганістан у грудні 1979 року став генеральним секретарем ЦК НДПА, головою Революційної ради й головою Ради міністрів (останню посаду обіймав до 1981 року). 4 травня1986 за рішенням 18-го пленуму ЦК НДПА Кармаля було звільнено «за станом здоров'я» від обов'язків генерального секретаря ЦК партії за умови збереження за ним членства у Політбюро. Усунення з посади було спричинено змінами в СРСР, де до влади прийшов Михайло Горбачов. Наприкінці 1986 року був усунутий і з посади голови Революційної ради.
Після залишення всіх посад він був змушений емігрувати й проживав у Москві: у перші роки еміграції — на дачі у Срібному Бору. Бабрак Кармаль мав велику повагу серед афганців: до еміграції під час першої після його відставки демонстрації в Кабулі люди, проходячи повз трибуну, кидали квіти не новому партійному керівнику Наджибуллі, а Кармалю; після заяв Наджибулли про «національне примирення» й необхідність перемовин із контрреволюціонерами армія була деморалізована і невдоволена таким різким і незрозумілим поворотом, згубним для революції й неможливим за правління Кармаля. Популярність Кармаля, яка ще більше зросла на тлі політики Наджибулли, спричинили пересторогу радянських керівників, які боялись повернення Кармаля до влади, тому до останнього приставили охорону й суворо контролювали його коло спілкування. Так тривало до кінця правління Горбачова. В останні роки життя стан здоров'я Бабрака Кармаля різко погіршився (хвороба нирок), він регулярно проходив курс лікування.