Né à Helsinki, Berglund a étudié le violon dès l'enfance, et jouait un instrument fabriqué par son grand-père. À 15 ans, il a décidé de faire de la musique sa carrière, et à 18 ans, il jouait dans les restaurants. Pendant la Seconde Guerre mondiale, Berglund a travaillé dans les usines de fer à Billnäs. Les jeunes ont été déplacés hors de Helsinki au cours des moments difficiles de la guerre. Sa carrière professionnelle en tant que violoniste a commencé en 1946, en jouant tout l'été au mess des officiers à Helsinki. Il avait déjà joué dans des orchestres de danse en 1945. Il a entrepris des études officielles à Helsinki à l'Académie Sibelius, à Vienne et à Salzbourg. Il a été violoniste dans l'Orchestre symphonique de la radio finlandaise de 1949 à 1958 dans la section des premiers violons. Il dirigera cet orchestre de 1962 à 1972, avant d'être engagé à l'Orchestre symphonique de Bournemouth jusqu'en 1979.
Dans une interview à la radio faite par la Société finlandaise de radiodiffusion YLE en 2002, Berglund a expliqué comment il a entendu l'Orchestre philharmonique de Vienne lors de leur tournée à Helsinki avec Wilhelm Furtwängler et comment il a été très impressionné. Peu de temps après, il est parti à Vienne pour étudier.
La carrière chef d'orchestre de Berglund a commencé en 1949, quand il a fondé son propre orchestre de chambre. En 1953, Berglund a co-fondé l'Orchestre de Chambre d'Helsinki.
À partir des années 1980, il conduit les orchestres majeurs en chef invité tout en occupant des postes de chef permanent à Stockholm et Copenhague.
Il enregistre de nombreux disques dont les intégrales des symphonies de Jean Sibelius et Carl Nielsen.
