Alder war der Sohn eines Ladenbesitzers in Newcastle und ging bei seinem Vater in die Lehre. Später führte er selber den Laden. 1815 wurde er Mitglied der Literary and Philosophical Society of Newcastle und begann sich für Naturgeschichte zu interessieren. Er befasste sich besonders mit Land- und Süßwasserschnecken und war mit seinem Freund Albany Hancock 1829 Gründer der Natural History Society of Northumberland, Durham and Newcastle upon Tyne.
Mit Hancock schrieb er eine mehrbändige Monographie über Nacktkiemer, die das erste große Buchprojekt der Ray Society war. Postum erschien ihre Monographie über britische Tunicata.
Schriften
mit A. Hancock: A monograph of the British nudibranchiate Mollusca: with figures of all the species, 7 Teile, Ray Society 1845 bis 1855 (Teil 8 als Supplement von C. Eliot 1910) OCLC1209624
mit A. Hancock: The British Tunicata; an unfinished monograph, by the late Joshua Alder and the late Albany Hancock, Herausgeber John Hopkinson, 3 Bände, Ray Society 1905, 1907, 1912 OCLC1496919