John Baldwin besuchte die San Ramon Valley Union High School in Danville und studierte danach bis 1935 an der University of California in Berkeley das Haushalts- und Rechnungswesen. Zwischen 1936 und 1941 war er Manager der South-Western Publishing Co. in San Francisco. Während des Zweiten Weltkrieges diente er in der US Army. Dabei war er in den Jahren 1943 und 1944 Direktor an der Finanzschule der Armee; 1945 war er beim Kriegsministerium in der Abteilung für auswärtige Finanzangelegenheiten tätig. 1946 war er an der Währungsreform der italienischen Lira beteiligt, wofür er von Italiens Regierung ausgezeichnet wurde. Im gleichen Jahr schied er als Oberstleutnant aus der Armee aus.
Nach einem anschließenden Jurastudium und seiner 1950 erfolgten Zulassung als Rechtsanwalt begann Baldwin in Martinez in diesem Beruf zu arbeiten. Gleichzeitig schlug er als Mitglied der Republikanischen Partei eine politische Laufbahn ein. Bei den Kongresswahlen des Jahres 1954 wurde Baldwin im sechsten Wahlbezirk von Kalifornien in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 3. Januar 1955 die Nachfolge von Robert Condon antrat. Nach fünf Wiederwahlen konnte er bis zu seinem Tod am 9. März 1966 im Kongress verbleiben. Seit 1963 vertrat er dort als Nachfolger von Harlan Hagen den 14. Distrikt seines Staates. In seine Zeit im Kongress fielen unter anderem der Kalte Krieg, die Bürgerrechtsbewegung und der Beginn des Vietnamkrieges.
