James Abercromby war der dritte von vier Söhnen des Generals Sir Ralph Abercromby, der am 28. März 1801 bei der Schlacht von Alexandria ums Leben gekommen war. Er besuchte die Royal High School in Edinburgh und erhielt 1800 die Anwaltszulassung. 1827 erhielt er die Zulassung als Richter.
Am 14. Juni 1802 heiratete er Mary Anne, Tochter von Egerton Leigh, Esq., of West Hall, in High Legh. Ihr Sohn war der 1803 geborene Ralph Abercromby, 2. Baron Dunfermline.