Johansson studerte ved Stockholms universitet. Han har arbeidet som svensklærer for innvandrere. Ellers har han hatt tilfeldig arbeide som blant annet hjemmehjelp, havnearbeider, ansatt i flyttebyrå og nattevakt på sykehus samtidig som han utviklet sitt forfatterskap. Siden 1980 er han forfatter på heltid.
Johansson er kjent for sin interesse for russisk litteratur, især gjenspeilet i gjennombruddsromanen Gogols ansikte (1989). Stor oppmerksomhet har han også fått for den delvis selvbiografiske trilogien De utsatta, også beskrevet som en klassereise: Huset vid Flon (1997), Sjön utan namn (2003) og Rummet under golvet (2006). På 1980- og 1990-tallet mottok han en rekke svenske litteraturpriser. I 1998 ble han nominert til Nordisk råds litteraturpris for Huset vid Flon.
Bibliografi
Det finns en krog på vägen till varje revolution – (1972)