1914 war Wordie an Sir Ernest Shackletons Antarktisexpedition, die offiziell mit dem Namen Imperial Trans-Antarctic Expedition bzw. später als Endurance-Expedition bezeichnet wurde, beteiligt.
Er leitete das Wissenschaftlerteam und war zudem als Geologe tätig. Trotz des völligen Fehlschlags der Expedition erhielt Wordie seine wissenschaftlichen Forschungen aufrecht, indem er Beobachtungen die Ozeanografie und den antarktischen Eisschild betreffend anstellte sowie geologische Proben sammelte.
Wordie nahm insgesamt an neun Polarexpeditionen teil. In den 1920er und 1930er Jahren reiste er zur Ausbildung junger Wissenschaftler sehr oft in die Arktis. In dieser neuen Generation von Polarforschen befanden sich u. a. Vivian Fuchs, Gino Watkins und August Courtauld (Augustine Courtauld; 1904–1959). Wordie galt als ein Experte für Polarexpeditionen, und nur wenige britische Unternehmungen in diesem Bereich fanden ohne eine vorherige Beratung durch ihn statt.
Wordie wurde Vorsitzender des Scott Polar Research Institute (SPRI) und Präsident der Royal Geographical Society.
Während seiner Amtszeit in der Society trug er zur erfolgreichen Planung der Besteigung des Mount Everest durch Edmund Hillary und Tenzing Norgay bei. In seiner Funktion als Vorsitzender des SPRI assistierte er Fuchs bei dessen Durchquerung der Antarktis, dem eigentlichen Ziel von Shackletons Endurance-Expedition.
Sir James Wordie – Exploration’s elder statesman. In: The New Scientist. Bd. 3, Nr. 55, 1957, S. 24 f.
B. H. Farmer: Wordie, Sir James Mann (1889–1962), rev., Oxford Dictionary of National Biography, Oxford University Press, 2004, abgerufen am 8. September 2006 (Abonnement erforderlich).
Michael Smith: Polar Crusader: Sir James Wordie – Exploring the Arctic and Antarctic, Birlinn, Edinburgh 2004. ISBN 1-84158-292-1. (eingeschränkte Vorschau in der Google-Buchsuche)