Né à La Nouvelle-Orléans, il est le fils de George Eustis (1796–1858) et de Clarice Allain. Son père était un avocat, juge en chef de la Cour suprême de Louisiane. James poursuit des études classiques, est diplômé de la faculté de droit de Harvard en 1854, admis au barreau en 1856 et commence sa pratique à la Nouvelle-Orléans. Il sert comme juge-avocat(en) pendant la guerre civile dans l'armée confédérée et reprend la pratique du droit à la Nouvelle-Orléans.
Eustis est élu au Sénat au nom du Parti démocrate pour combler, au début du mandat commençant le , la vacance provoquée par le refus du Sénat d'accueillir les prétendants rivaux William L. McMillen et Pinckney Benton Stewart Pinchback[1]. Eustis sert du au mais échoue à se faire réélire et est professeur de droit civil à la Tulane University Law School de 1877 à 1884, puis appelé à l'université de Louisiane. Il est de nouveau élu au Sénat des États-Unis et sert du au . Il n'est pas candidat à sa réélection et pratique le droit à Washington, D.C. à partir de 1891.