Robert Patterson syntyi Glens Fallsissa vuonna 1891. Hänen vanhempansa olivat Charles R. Patterson ja Lodice E. Porter.[1] Hän sai alemman korkeakoulututkinnon Union Collegesta, ja vuonna 1915 hän valmistui Harvardin yliopiston oikeustieteelliseltä osastolta. Patterson soti ensimmäisessä maailmansodassa. Sodan jälkeen hän perusti asianajotoimiston New Yorkiin.[2] Patterson meni naimisiin Margaret Tarleton Winchesterin kanssa tammikuussa 1920. He saivat yhteensä neljä lasta: yhden pojan ja kolme tytärtä.[1]
Vuodet 1930–1939 oli New Yorkin eteläisen piirin piirioikeuden tuomarina ja tämän jälkeen vuoden muutoksenhakutuomioistuimen tuomarina.[1] Vuonna 1940 presidentti Franklin D. Roosevelt nimitti Pattersonin apulaissotaministeriksi. Hän työskenteli läheisesti apulaislaivastoministeri James Forrestalin kanssa. Harry S. Truman nimitti Pattersonin sotaministeriksi vuonna 1945. Patterson kannatti sotaministerinä Yhdysvaltain voimakasta sotilaallista läsnäoloa muilla mantereilla. Kun vuonna 1947 armeijan eri siivet yhdistettiin, niin Patterson kieltäytyi taloudellisten syiden takia puolustusministerin virasta. Hän palasi lakimieheksi, mutta oli edelleen poliittisesti aktiivinen. Hän kannatti julkisesti Trumanin ulkomaanpolitiikkaa.[2]
