Farley begann nach Abschluss der Packard Commercial School seine berufliche Tätigkeit als Stadtschreiber (Township Clerk) seiner Heimatgemeinde Grassy Point von 1912 bis 1919 und wurde dreimal in dieses Amt gewählt. In dieser Zeit stieg er auch innerhalb der Demokratischen Partei auf und war aktiv am Wahlkampf von Al Smith beteiligt. Als dieser 1919 erstmals Gouverneur von New York wurde, erfolgte Farleys Ernennung zum Direktor des New Yorker Hafens; dieses Amt behielt er bis zu dessen Abschaffung durch Smiths Nachfolger als Gouverneur, Nathan Lewis Miller. In der Folgezeit war er Vorsitzender der Demokratischen Partei im Rockland County. Zwischen 1923 und 1924 war er für eine Amtszeit Mitglied der New York State Assembly. 1928 wurde er Sekretär der Demokratischen Partei des Staates New York und war als solcher auch Organisator des erfolgreichen Wahlkampfs von Franklin D. Roosevelt zum Gouverneur von New York. 1930 war er Manager der Kampagne der Wiederwahl von Roosevelt und wurde außerdem zum Vorsitzenden der Demokratischen Partei im Staat New York gewählt.
Als Vorsitzender des Democratic National Committee leitete er auch den erfolgreichen Präsidentschaftswahlkampf von Roosevelt. Nach dessen Wahl zum US-Präsidenten wurde Farley von diesem am 4. März 1933 zum Postminister (Postmaster General) in seinem Kabinett ernannt. Er war auch Leiter der erfolgreichen Kampagne zur Wiederwahl Roosevelts bei der Präsidentschaftswahl 1936. Allerdings entwickelte sich in dieser Zeit allmählich ein Riss zwischen dem Präsidenten und Farley. Dieser sprach sich auf der National Convention 1940 in Chicago gegen eine dritte Kandidatur Roosevelts aus und trat am 10. September desselben Jahres als Postminister zurück.
1944 sprach sich erneut als Vorsitzender der Demokratischen Partei New Yorks erfolglos auf der Democratic National Convention nunmehr gegen die vierte Kandidatur Roosevelts als US-Präsident aus. Anschließend zog er sich aus der Politik zurück. Er veröffentlichte seine Autobiografien 1938 unter dem Titel „Behind the Ballots“ und 1948 unter dem Titel „Jim Farley’s Story“.