Bei den Wahlen des Jahres 1972 wurde John Johnston als Kandidat seiner Partei in den US-Senat gewählt. Dieses Mandat war bisher nach dem Tod seines Vorgängers Allen J. Ellender, der während des Wahlkampfes, bei dem er erneut kandidierte, starb, von Elaine S. Edwards, der ersten Frau von Gouverneur Edwin Edwards, besetzt. Diese trat bei den Novemberwahlen nicht an und legte ihr Mandat eine Woche nach dem Wahltag nieder. Daher ernannte der Gouverneur Johnston sofort zum neuen US-Senator, der damit zwischen dem 14. November 1972 und dem 3. Januar 1973 die letzten Monate der alten Amtszeit beendete. Am 3. Januar 1973 begann dann seine erste volle sechsjährige Amtszeit. Nach drei Wiederwahlen konnte er bis zum 3. Januar 1997 im Kongress verbleiben. Dort leitete er zeitweise den Ausschuss für Energie und Bodenschätze. Er galt als eher konservativ. Gelegentlich stimmte er gegen seine Parteifreunde zugunsten der Republikaner ab. Im Jahr 1996 verzichtete er auf eine weitere Kandidatur.
Nach dem Ende seiner politischen Laufbahn gründete er die Anwaltskanzlei Johnston & Associates LLC. Außerdem wurde er in der Beraterbranche tätig. Im April 2013 geriet er in die Schlagzeilen als im vorgeworfen wurde er habe für seine Tätigkeit im Aufsichtsrat eines Unternehmens jährlich 175.000 Dollar und Aktienanteile erhalten, aber nur ein einziges Mal an einer Sitzung teilgenommen.
Johnston ist der Schwiegervater des ehemaligen Kongressabgeordneten Timothy J. Roemer.