הלהקה הוקמה אחרי שהמתופף בראן דיילור, והגיטריסט ביל קליהר עברו מעיירה קטנה בניו-יורק לאטלנטה. בהופעה של להקה בשם "High on Fire", הם פגשו לראשונה את הבסיסט והזמר טרוי סנדרס, והגיטריסט והזמר ברנט הינדס.
ב-2002 הוציאה הלהקה את אלבום הבכורה שלה, "Remission", שקיבל ביקורות טובות על הסאונד הייחודי שלו[1].
ב-2006 הוציאה הלהקה את אלבומה השלישי "Blood Mountain", מתוכו היה מועמד השיר "Colony of Birchmen" לפרס גראמי בקטגוריית "הופעת המטאל הטובה ביותר" לשנת 2007.
הקטע "הצאר", מתאר את הרצח המפורסם של המיסטיקן הרוסיגרגורי רספוטין אבל חורג מן ההיסטוריה כדי לתאר נרטיב של בריחה, מוות קדושים ומעבר היפר-ריאליסטי ליקום אחר.
התגובות על האלבום היו בעיקר חיוביות[2] כאשר יש המחשיבים את האלבום למגנום אופוס של הלהקה[3].
ב-2011 הוציאה הלהקה את האלבום "The Hunter". האלבום זכה להצלחה מסרית גדולה בארצות הברית ודורג במקום ה10 ברשימת הBillboard 200. השיר "Curl of the Burl" שוב זיכה את הלהקה במועמדות לפרס הגרמי בבקטגוריית "הופעת המטאל הטובה ביותר" של אותה שנה.
ב-2014 הוציאה הלהקה את האלבום "Once More 'Round the Sun". האלבום זכה להצלחה מסרית גדולה בארצות הברית ודורג במקום ה10 ברשימת הBillboard 200. השיר "High Road" זיכה את הלהקה במועמדות שלישית לפרס גראמי.
ב-2016 הודיעה הלהקה על הוצאת אלבום חדש בשם "Emperor of Sand". האלבום יצא במרץ 2017. בראיונות וסרטונים שפורסמו בחודשים לפני יציאת האלבום, סיפרו חברי הלהקה שהאלבום יעסוק בטרגדיות אישיות שפקדו את חברי הלהקה בשנתיים האחרונות. האלבום היה מועמד לפרס אלבום הרוק של השנה בטקס גראמי, והשיר Sultan's Curse זיכה את הלהקה בזכייה הראשונה שלהם בפרס גראמי עבור מופע המטאל של השנה.