Tait presentò Murray a Charles Wyville Thomson, il quale era stato nominato a capo della spedizione Challenger. Nel 1872 Murray si unì a Wyville Thomson come suo assistente in questa spedizione lunga quattro anni dedicata all'esplorazione delle profondità oceaniche di tutto il mondo. Dopo che Wyville Thompson cedette allo stress per la pubblicazione del resoconto della spedizione Challenger, Murray ne prese il posto pubblicando oltre 50 volumi, opera completata nel 1896.
Nel 1909, Murray scrisse al governo norvegese affermando che se gli avessero prestato il vascello Michael Sars per una ricerca lunga quattro mesi, condotta sotto la guida scientifica di Johan Hjort, allora Murray avrebbe pagato tutte le spese. Un inverno di preparativi portò alla più ambiziosa ricerca oceanografica di sempre. Il libro del 1912 scritto da Murray e Hjort, The Depths of the Ocean, divenne subito un classico per i naturalisti marini e per gli oceanografi.
Fu il primo a notare l'esistenza della dorsale medio atlantica e delle fosse oceaniche. Scoprì anche i depositi di sedimenti provocati dal deserto del Sahara nelle profondità oceaniche e pubblicò numerosi trattati sulle sue scoperte. Il suo maggior contributo alla scienza fu la co-organizzazione di uno studio batimetrico di 562 laghi d'acqua dolce scozzesi nel 1897, che comportò oltre 60 000 scandagli, i cui risultati furono pubblicati in sei volumi nel 1910. Fu il presidente della Royal Scottish Geographical Society dal 1898 al 1904, e fu eletto membro della Royal Society nel giugno 1896,[3] essendo stato premiato con la Medaglia Royal l'anno precedente.
Murray morì quando la sua macchina si ribaltò nei pressi di casa il 16 marzo 1914 a Kirkliston, vicino ad Edimburgo. È sepolto nel cimitero Dean di Edimburgo lungo il sentiero principale della sezione settentrionale del cimitero originale.
