Gruppen havde rødder tilbage til begyndelsen af 1960'erne i Herefordshire. Bassisten Peter Overend Watts, sangeren Stan Tippins og guitaristen Mick Ralphs kom fra to forskellige grupper i dette område, og de dannede i 1966en gruppe ved navn The Doc Thomas Group. Den fik lidt succes i Italien og blev tilbudt en pladekontrakt der, hvilket resulterede i et album udsendt i 1967. Året efter trådte trommeslageren Dale Griffin og organisten Verden Allen ind i gruppen. The Doc Thomas Group turnerede en del i Italien, men fik også opmærksomhed i hjemlandet, hvor de imidlertid spillede under navnet The Shakedown Sound og senere Silence. De kom i kontakt med musikbagmanden Guy Stevens, der dog ikke brød sig om forsangeren Tippins, og denne blev skiftet ud med Ian Hunter, der udover at synge også spillede piano.
Guy Stevens, der blev gruppens manager, havde læst romanen Mott the Hoople af den amerikanske forfatter Wilard Manus, og da Silence præsenterede sig for ham i 1969, overtalte han gruppen til at skifte navn til Mott the Hoople. De indspillede deres debutalbum Mott the Hoople på en uge, og albummet med blandt andet nogle genindspilninger af andres numre, blev et hit i visse undergrundskredse. Året efter indspillede de Mad Shadows, hvor de fremstod som hårdtarbejdende rockmusikere med en upoleret lyd, men uden hverken kommerciel eller kritikersucces. Heller ikke albummene Wildlife eller Brain Capers året derpå betød et gennembrud, og gruppen var på randen af opløsning.
Imidlertid havde David Bowie bemærket Mott the Hoople, og da han hørte om risikoen for gruppens opløsning, tilbød han dem nogle numre, hvoraf de accepterede "All the Young Dudes", som gruppen udsendte i sommeren 1972. Det blev gruppens største hit og nåede tredjepladsen på den britiske hitliste. Det følgende album opkaldt efter hittet blev produceret af Bowie og solgte rimeligt. Gruppen blev dog senere uvenner med Bowie om arrangementet af et nyt nummer skrevet af ham, og deres samarbejde ophørte. Verden Allen forlod gruppen, inden det næste album Mott blev indspillet.
Mott blev gruppens bedst sælgende album og betød et gennembrud i USA. Gruppen var nu blevet en af de centrale eksponenter for den nyligt opståede glam rock-bølge, og successen blev fulgt op af The Hoople samt et live-album i 1974. Men i samme periode opstod der uoverensstemmelser i gruppen og en del udskiftninger, hvor blandt andet guitaristen Mick Ronson lige nåede at komme ind, inden Ronson og Hunter forlod gruppen for at danne en duo i 1974, hvilket endegyldigt betød gruppens opløsning. Resten af gruppen fortsatte nogle år under navnet Mott og udsendte to album, der dog blev kommercielle fiaskoer, og i 1976 stoppede denne gruppe også.
I 2009 genopstod gruppen kortvarigt i den oprindelige besætning (Hunter, Watts, Ralphs, Griffin og Allen) og gav nogle koncerter i Storbritannien. Der blev udgivet en triple-CD i begrænset oplag efter nogle af koncerterne.
