Er wurde als Sohn einer Schneiderin und eines ÖBB-Beamten in Wien geboren. Mit seiner Frau Eva hat er zwei Söhne, Martin und Michael.
Nach dem Besuch der Volksschule und des Humanistischen Gymnasiums in Wien – Leopoldstadt schloss Neugebauer die Lehrerbildungsanstalt in Wien – Innere Stadt mit den Lehramtsprüfungen für Volksschulen sowie Hauptschulen und Polytechnische Lehrgänge (Deutsch, Geschichte/Sozialkunde, Geographie/Wirtschaftskunde) ab und war seit November 1965 (nach Ableistung des Präsenzdienstes) bis 1997 ununterbrochen als Lehrer an Volksschulen, Hauptschulen und Polytechnischen Lehrgängen in Wien-Brigittenau tätig.
1971 wurde Fritz Neugebauer in den Zentralausschuss der Personalvertretung der Wiener Landeslehrer gewählt, dem er bis 1979 angehörte, von 1975 bis 1989 war er GÖD-Vorsitzender der Bundessektion Pflichtschullehrer. Ab 1989 übte der Wiener in der Gewerkschaft Öffentlicher Dienst die Funktion des Vorsitzenden-Stellvertreters aus, von 1991 bis 2003 war er zudem Vizepräsident des Österreichischen Gewerkschaftsbundes und Vorsitzender der Fraktion Christlicher Gewerkschafter (FCG) im ÖGB. 1997 wurde Neugebauer als Nachfolger von Siegfried Dohr in die Funktion des Vorsitzenden der Gewerkschaft Öffentlicher Dienst gewählt, die er bis Oktober 2016 ausübte.[1]
Zu seinem Nachfolger wurde Norbert Schnedl gewählt.[2] Auf europäischer Ebene ist Neugebauer in der Interessenvertretung als Präsident von CESI-Eurofedop tätig.
In den Jahren 1996, 1999 und seit 2002 wurde Fritz Neugebauer als Abgeordneter zum Nationalrat gewählt und übte 2007 und 2008 die Funktion des Obmanns des Unterrichtsausschusses aus. Im Dezember 2008 wurde der Wiener zum Zweiten Nationalratspräsidenten gewählt und war Vorsitzender des Ständigen Unterausschusses des Hauptausschusses in EU-Angelegenheiten sowie des Geschäftsordnungsausschusses des Nationalrates. Von 2006 bis 2009 war Neugebauer Klubobmann-Stellvertreter des ÖVP-Klubs, in den Jahren 2007 und 2008 zudem Bildungssprecher, davor Sozialsprecher der ÖVP. Von 2003 bis 2009 war Neugebauer Bundesobmann des Österreichischen Arbeitnehmerinnen- und Arbeitnehmerbundes (ÖAAB). Er ist Mitglied im Bundesparteivorstand der ÖVP und 1. Vizepräsident der Europäischen Union Christlich-Demokratischer Arbeitnehmer (EUCDA).