Gimė valstiečių šeimoje, kurioje buvo vyriausias vaikas. Pirmąsias skaitymo pamokas gavo iš daraktorės Vincentos Kraniauskaitės, gyvenusios gretimame Žvirblių kaime. Toliau mokėsi Ramygalos pradinėje mokykloje, o ją baigęs 1898 m. įstojo į Panevėžio realinę mokyklą. Joje besimokydamas pradėjo domėtis lietuvių kalba, skaitė draudžiamąją literatūrą.
1906 m. paskatintas Jono Jablonskio, nutarė studijuoti filologiją ir įstojo į Peterburgo universiteto Slavistikos skyrių. Susipažinęs su Kazimieru Būga, kuris buvo aukštesniame kurse, ne kartą lankėsi jo kambaryje ir tarėsi įvairiais klausimais. Bet dažniausiai susitikdavo pas docentą Eduardą Volterį, kuris kviesdavosi studentus pasikalbėti apie lietuvių kalbos problemas.
Gyvenimas Peterburge buvo sunkus: įtemptas darbas universitete, rūpestis dėl maisto pareikalavo daug sveikatos, kurios tolimesniame gyvenime pasigesdavo. J. Balčikonis įsitraukė į aktyvų spaudos darbą: kūrė eilėraščius, vertė į lietuvių kalbą populiarias knygeles.
1930 m. paskirtas „Lietuvių kalbos žodyno“ redaktoriumi. Perėmęs K. Būgos žodyno kartoteką, organizavo sistemišką žodžių rinkimą iš spausdintų ir rankraštinių lietuvių kalbos paminklų, žodžių rinkimą iš gyvosios kalbos. Buvo vienas iš „Dabartinės lietuvių kalbos žodyno“ (1954 m.) redaktorių. Surinko ir išleido J. Jablonskio „Raštus“ (1932–1936 m.), Motiejaus Valančiaus raštų redaktorius (1931 m.), parašė straipsnių apie kalbininkus. Surinko daug Lietuvos vietovardžių. Išvertė į lietuvių kalbą pasakų, grožinės literatūros kūrinių.
1978–1982 m. išleisti J. Balčikonio „Rinktiniai raštai“ (sudarė Aldonas Pupkis), 1985 m. Vytauto Vitkausko knygelė „Juozas Balčikonis“ (Kaunas, 1985 m.).
Literatūra
Dėk žodį prie žodžio – turėsi žodyną: atsiminimai apie kalbininką Juozą Balčikonį (sud. Birutė Goberienė, Aldonas Pupkis). – Vilnius: Lietuvių kalbos institutas, 2006. – 324 p.: iliustr. – ISBN 9955-704-04-7