J. Down s-a născut în localitatea Torpoint, Cornwall din părinți de origine irlandeză. Străbunicul din partea tatălui a fost episcop catolic de Derry. După ce a studiat la școala din localitatea sa natală, la 14 ani a devenit ucenicul tatălui său care era farmacist. La vârsta de 18 ani se mută la Londra unde lucrează ca ajutor de chirurg. Aici, în sarcina sa cădeau activitățile de recoltare a sângelui, extragere a dinților, administrare a medicamentelor, iar apoi, în sfârșit, izbutește să se angajeze într-un laborator farmaceutic din Bloomsbury Square. Tot în acea vreme îl cunoaște pe Michael Faraday care îl inițiază în experimentele cu gaze. În 1853 se întoarce în orașul natal unde își continuă activitatea farmaceutică alături de tatăl său. La un an după moartea acestuia se hotărăște să studieze medicina la Spitalul Regal din Londra (Royal London Hospital). În anul 1856 se înscrie în Colegiul Regal al Chirurgilor din Anglia iar în 1858 este numit director medical al azilului de retardați mintali Earlswood din Surrey.
Aici lucrează cu copii afectați de diferite grade de retard mintal și discapacități intelectuale, în urma căruia a scris faimoasa sa operă Observații cu privire la clasificarea etnică a retardaților mintali (Observations on an ethnic classification of idiots), lucrare în care stabilește o clasificare a persoanelor cu handicap intelectual în funcție de caracteristicile etnice. În studiile sale au o puternică influență teoriile lui Charles Darwin, poate și datorită înrudirii acestora, cei doi având o nepoată comună. Contribuția sa cea mai populară este descrierea categoriei pe care el a numit-o Retardul mintal al mongoloizilor, nume dat de faptul că caracteristicile bolii au aspecte comune cu popoarele nomade care trăiesc în Mongolia, și în care se includeau indivizi purtători ai trisomiei 21(sindromului Down).
Cei doi fii ai doctorului Down, Reginald și Percival, au continuat activitatea de cercetare a tatălui său, primul dintre aceștia adăugând la lista, alcătuită de tatăl său, de caracteristici fizice ale sindromului Down și forma specifică a cutelor palmare la persoanele suferinde de această boală.