Ab 1980 war Ackerl Mitglied des Linzer Gemeinderats, ab 1985 war er im Stadtsenat für den gesamten Umweltschutz (ab 1987 auch für die Gewerbebehörde) und das Allgemeine Krankenhaus der Stadt Linz zuständig. Er setzte sich gegen den Bau der atomaren Wiederaufarbeitungsanlage Wackersdorf (WAA) in Bayern ein und fand 1988 beim Erörterungstermin in Neunburg vorm Wald deutliche Worte.[1][2] Ab 1991 war er weiterhin für den Umweltschutz, nicht mehr für das AKH aber dafür für Soziales (ohne Alten- und Pflegeheime) und die Kinderbetreuungseinrichtungen zuständig. In seine Verantwortung als Umweltstadtrat fiel unter anderem die groß angelegte Sanierung der Linzer Luft.
Von 1993 bis 2014 war Ackerl Mitglied der oberösterreichischenLandesregierung. Sein Ressort umfasste die Bereiche Gemeinden, Verkehrsrecht und Öffentlicher Verkehr, Gesundheit (mit Ausnahme der Gespag-Spitäler), Jugendwohlfahrt, Opferfürsorge, Personenstandswesen, Soziales, Sozialversicherung, Integration von Zuwanderern, Flüchtlingswesen und Verwaltungspolizei. Außerdem war er bis Oktober 2011 Bundesvorsitzender der Kinderfreunde.
Nach der Niederlage der SPÖ bei der Landtagswahl in Oberösterreich 2009 und dem Rücktritt von Landesparteichef Erich Haider übernahm Ackerl sowohl den Parteivorsitz der SPÖ Oberösterreich als auch den Posten eines der beiden Landeshauptmann-Stellvertreter.[3] Ackerl übergab er im November 2013 den Parteivorsitz an Reinhold Entholzer. Am 22. Jänner 2014 schied Ackerl aus der Landesregierung aus. Am 23. Jänner 2014 wurde Gertraud Jahn zur neuen SP-Soziallandesrätin und Reinhold Entholzer zum neuen Landeshauptmann-Stellvertreter gewählt.[4]
Am 1. Oktober 2013 bezeichnete Josef Ackerl die neue Klubchefin des Team Stronach, Kathrin Nachbaur, in einem Facebook-Eintrag als „Tussi“ und löste damit eine neue Diskussion über Sexismus in der österreichischen Politik aus. Er führte heftige Auseinandersetzung mit der Schüssel-Grasser-Regierung, die er 2003 als „Gesindelregierung“ bezeichnete. Zu mutmaßlich Pharisäerhaftem Verhalten – etwa der Kritik am Doppelgehalt von Josef Cap – äußerte er sich ablehnend.[5]
