Van den Berg werd tijdens zijn studie in Groningen actief binnen de PvdA. Tijdens deze periode werden er veel studenten lid van deze partij, maar dat werd vaak niet gewaardeerd. Veel van deze studenten identificeerden zich met de dissidentengroep Nieuw Links, en zetten zich binnen de partij in voor een nieuwe koers. In Groningen braken geregeld conflicten uit tussen de oudere generatie PvdA'ers en de studenten, waar Van den Berg vaak bij betrokken was.[1] In 1969 werd hij op 23-jarige leeftijd verkozen tot voorzitter van de afdeling Groningen, waarna de oudere fractieleden en bestuurders vervangen werden door jongeren. Volgens de opgestapte fractieleden was er sprake van een 'staatsgreep' van de jongeren, die zich actief zouden hebben georganiseerd om de "oude zakken" weg te werken.[2]
Na het afronden van zijn sociologiestudie werd hij in 1970 op 24-jarige leeftijd wethouder van Cultuur, Monumentenzorg, Verkeer, Openbare Werken, Openbaar Vervoer, Volkshuisvesting en Stadsontwikkeling in de gemeente Groningen. Onder zijn leiding brak de PvdA in Groningen met het principe van een afspiegelingscollege. Samen met Jacques Wallage stond hij aan de wieg van het eerste linkse programcollege. Misschien wel het meest aansprekende besluit van dit College was de invoering van het Verkeerscirculatieplan, dat de verkeersinfrastructuur binnen de stad Groningen ingrijpend wijzigde.
Na een korte periode als wetenschapper de krottenwijken in Latijns-Amerika te hebben onderzocht, keerde hij terug in de Nederlandse politiek toen hij voorzitter van de Partij van de Arbeid werd in 1979. In een verkiezing versloeg hij de door het partijkader aanbevolen kandidaat Wim Meijer, bang voor een radicalere koers van de 'de ayatollah, de Raspoetin en de Lenin van het hoge noorden'.[3] De aanwezige leden dachten er evenwel anders over.
Na acht jaar partijvoorzitterschap werd hij in 1986 directeur van de ontwikkelingsorganisatie Novib.
Van 1999 tot 2007 was Van den Berg lid van het Europees Parlement en leider van de PvdA-delegatie in dat parlement, die deel uitmaakt van de fractie van de Partij van de Europese Sociaaldemocraten. Hij hield zich in het Europees parlement vooral bezig met de Europese hulp aan ontwikkelingslanden en is ondervoorzitter van de commissie ontwikkelingssamenwerking. Van den Berg was ook lid van het curatorium van het Afrika-Studiecentrum in Leiden. Hij leidde namens de EU waarnemingsmissies bij verkiezingen in Nigeria, Liberia en Oeganda en presenteerde in februari 2006 een rapport waarin hij pleitte voor het plaatsen van corrupte ambtenaren en regimes op een zwarte lijst. In mei 2007 verscheen van zijn hand Werkplaats Europa. Uit de praktijk van een Europarlementarier waarmee Van den Berg zijn eigen ervaringen als Europarlementarier verwerkte.
Op 1 september 2007 volgde hij zijn partijgenoot Hans Alders op als commissaris van de Koningin in de provincie Groningen.[4] Vanwege het overlijden van de vrouw van Alders eind augustus vond de officiële installatie pas plaats op 26 september. In april 2013 werd Van den Berg benoemd voor een tweede termijn van zes jaar.[5] In september 2015 kondigde hij zijn aftreden aan, in verband met het bereiken van de 70-jarige leeftijd, per 1 april 2016.[6] Op 30 maart 2016 nam hij afscheid in een bijzondere vergadering van Provinciale Staten en kreeg uit handen van minister Plasterk de versierselen behorend bij het officierschap in de Orde van Oranje-Nassau; bij die gelegenheid werd hij ook benoemd tot ereburger van de stad Groningen.[7]
Op 12 december 2007 volgde hij Jan Terlouw op als voorzitter van de Leprastichting. Met ingang van 1 november 2016 werd van den Berg benoemd als honorair hoogleraar Global Governance and Sustainable Livelihood aan de Faculteit der Letteren van de Rijksuniversiteit Groningen (RUG) voor een periode van maximaal 5 jaar.[8] In 2021 nam hij afscheid van de RUG.[9][10]
Persoonlijk
Van der Berg is getrouwd met journaliste en schrijfster Geke van der Wal.