Kalmistu rajati ja sinna maeti esimesed surnud 1772. aastal. Kolga-Jaani kirikuaeda lõpetati matmine üldiselt samal ajal, siis maeti edaspidi sinna enamik kihelkonna surnuid.
Kalmistut on laiendatud korduvalt. Vana osa laiendati 1851, 1865 ja viimati 1882. aastal.[1] Uus osa (üle Tartu maanteeedelas) asutati 1921. aastal ning esimesed matmised sinna on 1922. aastast.
Kolga-Jaani kalmistu on alates 1997. aastast riiklik ajaloomälestis.[2] Kalmistu on praegu kasutusel ning on üldiselt hästi hooldatud, selle pindala on 2,03 ha.
Ehitised kalmistul
Kalmistu vana ja uue osa vahelt kulgeva Tartu maantee ääres (vana osa pool) on tagasihoidlik kalmistu peavärav, mis on kaheosaline ja kivipostidega. Lähedal on endine kruusaauk, mille põhjas on kaev. Tagaservas on kivi, millel on raidkirjas aastaarv 1785, mis tähistab kalmistu kivimüüri ehitamise aastat.