James W. Gerard nait le . Il fait ses études à l'Université Columbia. Son père, James W. Gerard, était un juriste et homme politique démoncrate à New York[1] et son grand père, nommé lui-aussi James W. Gerard, était aussi juriste réputé à New York[2]. Il sert pendant la Guerre hispano-américaine de 1898[3]. Il est juge à la cour suprême de New York entre 1907 et 1911.
En 1914, il est le candidat démocrate pour le poste de sénateur de New York, et bat le candidat Anti-Tammany, Franklin D. Roosevelt, lors de la primaire, mais perd les élections face au républicain James W. Wadsworth, Jr.(en)
Il est ambassadeur des États-Unis en Allemagne entre 1913 et 1917[4]. Le gouvernement allemand lui demande de quitter le pays en janvier 1917. Les relations diplomatiques sont rompues le , et il rentre aux États-Unis. Il tente sans succès d'avertir que l'Allemagne risque de se relever après la première Guerre mondiale avec une volonté de revanche. Son livre My Four Years in Germany a servi de base pour le film My Four Years in Germany sorti en 1918, produit par Warner Bros, ainsi qu'au film Beware ! sorti en 1919.
Il meurt le à Southampton dans l'état de New York.