Pierwszy album – OK Calculator (tytuł nawiązuje do albumu Radiohead, OK Computer) – zespół wydał własnymi środkami. Brzmienie OK Calculator znacznie różni się od późniejszego, które zawiera elementy electro, hip–hopu
oraz turntablizmu. Po dołączeniu do zespołu Kyp Malone'a wydają Young Liars (EP) oraz Desperate Youth, Blood Thirsty Babes (LP), które spotykają się z bardzo pozytywnym przyjęciem wśród krytyki. Album Desperate Youth, Blood Thirsty Babes przyniósł nagrodę Shortlist Music Prize. Kolejnym wydawnictwem była epkaNew Health Rock, zawierająca nowe utwory: New Health Rock, Modern Romance (cover the Yeah Yeah Yeahs) oraz The Wrong Way, utwór dostępny wcześniej na Desperate Youth, Blood Thirsty Babes. Ostatnie wydawnictwo zespołu Return to Cookie Mountain zyskuje pozytywne recenzje, m.in. w Pitchfork Media.