Japan werd in 1974 opgericht als schoolbandje. De leden David Sylvian, Mick Karn en Steve Jansen (broer van Sylvian), later uitgebreid met Rob Dean en Richard Barbieri, speelden aanvankelijk glamrock. Hun debuutalbum Adolescent Sex verscheen in 1978, en werd al snel gevolgd door Obscure Alternatives. Beide albums verkochten goed in Japan, maar niet in andere landen. Het derde album, Quiet Life (1979), bevatte een cover van All Tomorrow's Parties van The Velvet Underground. Japan verliet de glamrock en het accent kwam meer te liggen op synthesizers en Giorgio Moroder-achtige sequencerloops, terwijl de zang van Sylvian steeds meer op die van Roxy Music-zanger Bryan Ferry begon te lijken. In 1980 kwam een cover van "I Second that Emotion" uit op single. Het was oorspronkelijk uitgebracht door Smokey Robinson & the Miracles. Het nummer, opgenomen in de Quiet Life-periode, werd een bescheiden hit.
De twee daarop volgende albums, Gentlemen Take Polaroids (1980) en Tin Drum (1981) bereikten een groter publiek. De band had intussen een andere stijl gevonden en was onderdeel geworden van de New Romantic-stroming uit het begin van de jaren tachtig. De single Ghosts haalde een topdrienotering in de Britse hitparade. Na Tin Drum viel de groep echter uit elkaar als gevolg van conflicterende persoonlijkheden. Er volgde nog wel een live dubbelalbum, onder de titel Oil on Canvas (1983).
De meeste leden van de groep werkten na Japan verder aan andere projecten. David Sylvian was hierbij het meest succesvol. Hij werkte onder meer samen met Robert Fripp en Ryuichi Sakamoto. In 1991 volgde een reünie onder de naam Rain Tree Crow, die slechts één album opleverde. Mick Karn, de bassist van de band, overleed op 4 januari 2011 op 52-jarige leeftijd aan kanker.
