Nach dem Rücktritt des Abgeordneten Edwin Reinecke wurde Goldwater bei der fälligen Nachwahl für den 27. Sitz von Kalifornien als dessen Nachfolger in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 29. April 1969 sein neues Mandat antrat. Nach sechs Wiederwahlen konnte er bis zum 3. Januar 1983 im Kongress verbleiben. In diese Zeit fielen unter anderem das Ende der Bürgerrechtsbewegung und des Vietnamkrieges sowie im Jahr 1974 die Watergate-Affäre, die den Republikanern schwer schadete. Goldwater war zeitweise Mitglied im Committee on Public Works and Transportation, im Energieausschuss und im Ausschuss für Wissenschaft und Technologie. 1982 verzichtete er auf eine weitere Kandidatur. Gleichzeitig strebte er erfolglos die Nominierung seiner Partei für die Wahlen zum US-Senat an.
Nach dem Ende seiner Zeit im US-Repräsentantenhaus zog Goldwater nach Los Angeles, wo er in der Finanzbranche arbeitete. Außerdem wurde er Mitglied der New Yorker Börse. Heute lebt er in der Nähe seines Sohnes Barry M. Goldwater III in Phoenix.