Gimnáziumi tanulmányait Nagyváradon, Pesten, Pozsonyban végezte, majd Bécsben fejezte be, majd először jogásznak ment, de a második szemeszter után abbahagyta és 1853-ban a magyaróvári Gazdasági Főiskolára iratkozott be.
Ezt elvégezve, gróf Széchenyi Istvánnagycenki, majd egy ideig édesapja nagyszántói birtokán tevékenykedett. Az ügyes, állandóan fúró-faragó, tevékenykedő Jósa a sok esztergályozás miatt tályogot kapott, a hosszas betegeskedés, szenvedés megérlelte elhatározását; követi nagyapját, Jósa Istvánt, aki Szabolcs vármegye jó hírnevű főorvosa volt és ő is az orvosi pályát választja.
1860-ban beiratkozott a bécsi egyetem orvosi fakultására, ahol 1864-ben szerzett orvosdoktori oklevelet.
Az orvosi egyetem elvégzése után először a döblingi elmegyógyintézetben, majd Joseph Škodánál a belgyógyászaton gyarapította tudását. Škoda Erzsébet királynéhoz is beajánlotta orvosi kísérőnek, de Jósa nem vállalta, Nagykállóban telepedett le ahol kórházi, majd 1884-ben Nyíregyházán Szabolcs vármegyei főorvos lett. 1865-ben munkája mellett a sebészi oklevelet is megszerezte.
Az orvosi hivatásában végzett sokrétű tevékenysége mellett nagy érdeme volt a Szabolcs vármegyei múzeum létrehozása is, mely ma nevét viseli.
Nyíregyházán, 1918 szeptember 6-án, életének 84. évében érte a halál.
Emlékezete
Nyíregyházán nevét és emlékét múzeum, utca, kút, városrész és egy kórház is őrzi.
A legenda szerint Jósa András a városban sétálva az ügyvédi villákat látva az egyikre felírta, hogy Csaló köz. A városi tanácsnak előterjesztette ezt a javaslatát, amely azt elfogadta, így a mai napig így hívják ezt a helyet Nyíregyházán. Érdekesség, hogy a NAV Észak-alföldi Bűnügyi Igazgatósága is a Csaló közben működik.
Művei
Irodalmi működése leginkább a Szabolcs vármegye őskori és honfoglalás kori leleteinek ismertetésére szorítkozott. Sok kisebb-nagyobb közleménye jelent meg.
A szabolcsmegyei nyírség ősrégészeti leletei s lelhelyeiről. Magyar orvosok és természetvizsgálók munkálatai XIV. (1870)
