Han var søn af førstelærer Jens Christian Larsen og hustru Elise Catherine Christiane, f. Kirchhoff, og gift med sin kusine Elise Kirstine Adolphine, f. Kirchhoff.
Joakim Larsen betegnes som flittig, intelligent og beskeden. I nekrologen i bladet Folkeskolen i 1920 stod der bl.a.: »Vi spurgte engang den mangeårige lærer på seminariet, Hans Mortensen, hvem han anså som den ypperste blandt alle seminariets elever. Uden at betænke sig svarede han: Joakim Larsen!« – Joakim Larsens beskedenhed ses bl.a. af, at han to gange afslog at få tildelt en professortitel, og at han sikrede sig, at der ikke ville blive rejst noget mindesmærke over hans gravsted. Han huskes for skolebøger, læsebøger og regnebøger, og ikke mindst dansk skolehistorie.
Selv om han var imod mindesmærker, fik en skole på Frederiksberg hans navn, Joakim Larsen Skolen (1956-73), men den er for længst lagt sammen med tvilling- og naboskolen, Sofus Franck Skolen (1957-73), under det nye navn Skolen ved Nordens Plads (1973-83). En vej på Frederiksberg, Joakim Larsens Vej, bærer imidlertid fortsat hans navn.
Bidrag til Københavns offentlige skolevæsens historie, 1881
Bidrag til den danske folkeundervisnings og folkeskoles historie 1536-1784, 1916, 2. oplag 1984, ISBN87-87400-58-8
Bidrag til den danske folkeskoles historie 1784-1818, 1893, 2. oplag 1984, ISBN87-87400-59-6
Bidrag til den danske folkeskoles historie 1818-1898, 1899, 2. oplag 1984, ISBN87-87400-61-8
Meddelelser om forskellige forhold vedrørende skolevæsenet i Danmark, 1880
Folkeskole og konfession i udlandet, 1884
Danmarks Lærerforening og dens Virksomhed 1874-99, 1899
Den danske Folkeskoles Historie. Nærmest til Brug for Seminarier. 1918.
Genudgivelsen af "Bidrag til Den danske skoles historie" i 1984 på forlaget Unge Pædagoger blev suppleret af et bind 4 for perioden 1898-1984 redigeret af Chresten Kruchov, Kirsten Larsen og Grethe Persson. ISBN87-87400-62-6. For alle 4 bind: ISBN87-87400-63-4
