„Svarte-Filip“, so der Spitzname Johanssons wegen seiner dunklen Haare, begann seine Karriere bei Surte IS, Fässbergs IF und Trollhättans IF. 1924 wechselte er zu IFK Göteborg, für die er in der ersten Spielzeit der Allsvenskan auflief. In seiner ersten Saison gelangen ihm in 21 Spielen 39 Saisontore, ein bis heute gültiger Ligarekord. Bis 1933 blieb er dem Klub treu und schoss in 277 Spielen für den Verein 329 Tore.
Nach zwei Jahren Pause, in denen er sich aufs Bandyspielen konzentriert hatte, ging er 1935 für eine Spielzeit zu Gårda BK, ehe er seine Laufbahn endgültig beendete.
Insgesamt erzielte er in 194 Ligaspielen 182 Ligatore, womit er in der ewigen Torschützenliste der Liga auf Platz drei steht. Trotzdem blieb er in seiner Laufbahn ohne Titel.
Nationalmannschaft
Johansson wurde zudem 16 Mal in die schwedische Nationalmannschaft berufen, dabei gelangen ihm 14 Tore. Bei seinem Debüt am 9. Juni 1925 schoss er beim 4:0-Sieg gegen Finnland alle vier Treffer. Gegen Ungarn und Polen, wo er in der 25., 28. und 30. Minute traf, gelangen ihm drei Tore in einem Spiel.
Bandy
Parallel zu seiner Fußballkarriere spielte Johannson in den Winterpausen Bandy bei Surte IS, wo er ein technisch hochklassiger Spieler war.