Larsson begann seine Karriere beim IFK Göteborg, für den er Ende der 1930er Jahre in der Männermannschaft debütierte. 1939 stieg er mit dem Klub in die Allsvenskan auf, wo er sich auf Anhieb als regelmäßiger Torschütze etablierte. Als Aufsteiger am Ende der Spielzeit 1939/40 Tabellenzweiter hinter IF Elfsborg, gewann er zwei Jahre später an der Seite von Arne Nyberg, Åke Samuelsson, Ernst Andersson und Gunnar Gren den Von-Rosens-Pokal für den Landesmeistertitel. In den folgenden Spielzeiten konnte der Verein nicht an den Erfolg anknüpfen und belegte Plätze im mittleren Tabellenbereich. Larsson stach jedoch in der Spielzeit 1943/44 hervor, als ihm 19 Saisontore gelangen und er sich somit zum Torschützenkönig der Liga krönte.
1946 schloss sich Larsson, der in 98 Erstligaspielen 79 Tore für den IFK Göteborg erzielt hatte[2], dem Lokalrivalen GAIS an. Auch bei seinem neuen Klub war er ein torgefährlicher Angreifer, bis 1950 erzielte er 31 Tore in 49 Spielen.