Wollter galt als einer der renommiertesten Schauspieler Schwedens. Einem internationalen Publikum bekannt wurde er in der Rolle des Victor in Andrei Tarkowskis Drama Opfer. Deutsche Fernsehzuschauer kennen ihn als Kommissar Van Veeteren in den Verfilmungen der Kriminalromane des schwedischen Schriftstellers Håkan Nesser.
Wollter war in erster Ehe mit der Schriftstellerin Maja-Brita Mossberg, in zweiter Ehe mit der Schauspielerin Annie Jenhoff und ab 2003 mit der Rundfunkjournalistin Lisa Wede verheiratet. Er starb im November 2020 im Alter von 86 Jahren an den Folgen von COVID-19.