1918 wagte er den Schritt in die Politik, als er Abgeordneter der Christlichsozialen Partei (CSP) zum Vorarlberger Landtag wurde. Zunächst nur in der Provisorischen Landesversammlung tätig, wurde er im Jahr 1919 vollwertiger Landtagsabgeordneter. 1923 berief ihn der Vorarlberger Landeshauptmann Otto Ender in sein Kabinett, und machte Mittelberger zum Finanzlandesrat Vorarlbergs. Unter seiner Federführung wurde Vorarlberg dank gezielter Investitionen österreichweit führendes Bundesland auf dem Energiesektor.
Johann Josef Mittelberger als Maturant
1929 war Mittelberger nach dem Rücktritt von Bundeskanzler Ignaz Seipel kurze Zeit selbst als Kanzlerkandidat im Gespräch; doch es kam anders. Ernst Streeruwitz, der neue Kanzler, ernannte Mittelberger im Mai 1929 zum neuen Finanzminister der Republik Österreich. Mittelbergers Amtszeit dauerte jedoch nur knapp fünf Monate; bereits im September 1929 musste er die Amtsgeschäfte seinem Nachfolger, Johann Schober, überlassen.
1934, im Zuge des aufkommenden Austrofaschismus, schied Mittelberger, der konsequent demokratische Grundsätze verfolgte, aus der Politik aus. Einen erneuten Wechsel in die Vorarlberger Landesregierung lehnte er ab. Seine ablehnende Haltung dem NS-Regime gegenüber wurde ihm im August 1944 zum Verhängnis, als er von der Geheimen Staatspolizei (Gestapo) verhaftet wurde, und danach rund zwei Monate in der auf deutschem Gebiet befindlichen Gemeinde Reichenau inhaftiert wurde.
1945 übernahm Mittelberger als Kaufmännischer Direktor die Vorarlberger Kraftwerke; 1950 ging er in Pension.
