Johansson iniziò a suonare il piano nel 1942. All'inizio degli anni '50, iniziò a studiare ingegneria elettrica alla Università di tecnologia Chalmers ma abbandonò poi questi studi per dedicarsi interamente alla musica. Ha suonato nelle bande di Kenneth Fagerlund e Gunnar Johnson. Dal 1958 al 1960 ha inizialmente accompagnato Stan Getz con la sua band in un tour scandinavo, prima di accompagnare altre star del jazz americano a Copenaghen con Oscar Pettiford nella band house del Jazzhus Montmartre. Johansson è stato il primo membro europeo del gruppo che fece la serie di concerti Jazz at the Philharmonic. Nel 1961 si trasferisce a Stoccolma. Negli anni '60 creò versioni jazz senza tempo di canzoni popolari svedesi e russe, come ad es. quelle raccolte nell'album Jazz på svenska ("Jazz in svedese") del 1963, che ha venduto oltre un milione di copie. Secondo Ralf Dombrowski, il suo stile fu di esempio per molti musicisti jazz scandinavi successivi e modellò "l'estetica del suono fino ai giorni nostri per l'idea del jazz scandinavo".[1] Nel 1967 è stato membro del sestetto di Arne Domnérus al Jazz Festival di Tallinn.
Ha anche lavorato con Astrid Lindgren. Il suo pezzo più famoso è Här kommer Pippi Långstrump. Qui lavorò a stretto contatto con il suo amico, il bassista Georg Riedel, il quale ha poi continuato a lavorare ai film televisivi tratti dalle opere di Astrid Lindgren dopo la sua morte.
Jan Johansson è morto in un incidente stradale nel 1968. È sepolto nel Skogskyrkogården a Stoccolma. Molti dei suoi album e registrazioni sono stati ristampati dai suoi due figli con loro etichetta Heptagon.
La rivista Rolling Stone ha posizionato il suo album Jazz på svenska (1964), con interpretazioni jazz di canzoni popolari svedesi, nel 2013 nella sua lista dei 100 migliori album jazz al numero 57.[2]
