Goat compta amb tres membres originals del grup format a Korpilombolo i per als concerts en directe s'hi sumen quatre intèrprets més de Göteborg. El grup va signar amb Rocket Recordings, un segell discogràfic amb seu al Regne Unit format el 1998. El 2012 Goat va publicar el seu senzill de debut «Goatman» en vinil d'edició limitada i va començar a gravar el seu primer àlbum. En comentar el procés de composició, un membre de la banda va explicar:[3]
El procés d'escriptura és estrany. Normalment, quan toquem junts no toquem cançons –fem música– i cada cop que toquem és una nova oportunitat. Quan vam tenir la possibilitat de gravar, vam fer cançons per al disc. Vam començar amb «Goatman», i aquesta cançó va ser enregistrada només per a nosaltres. Llavors Rocket Recordings ens va demanar que n'escriguéssim més i vam continuar, però les nostres cançons mai no s'acaben ni sabem com acabaran quan comencem a gravar.
World Music es va publicar el 20 d'agost de 2012 i va merèixer certa atenció internacional,[4][5][6] com de la publicació musical australiana Happy Mag, que va situar l'àlbum al número 5 de la seva llista d'«Els 25 millors àlbums de rock psicodèlic dels anys 2010».[7] El títol del disc prové dels diferents estils de música que conté.[3]
