Wieś historycznie należy do ziemi wieluńskiej. Ma metrykę średniowieczną i istnieje co najmniej od XV wieku. Wymieniona w dokumencie zapisanym w 1403 w języku łacińskim jako Czastary, Czyestari, Czistari, Castari, Czaschary[5].
Wzmianka o młynie z 1461 r., a o sołtysie z 1462 r., kiedy wieś była własnością królewską w ramach starostwa wieluńskiego. Od początku XVI w. znajdowała się w rękach prywatnych. Pochodzenie nazwy miejscowości Czastary nie zostało wyjaśnione. Legenda wywodzi ją od słów "czas za stary". Inna wersja wskazuje na czeskie pochodzenie nazwy: cestary - robotnicy drogowi, służba drogowa.
Podczas okupacji niemieckiej, w 1943 roku, Niemcy wprowadzili dla wsi nazwę Wildenbach.
W nocy z 17 na 18 lutego 1946 roku na stacji kolejowej w Józefowie oddział NSZStanisława Panka "Rudego" opanował pociąg relacji Poznań-Katowice z żołnierzami Armii Czerwonej i WP. Zabito 9 czerwonoarmistów i chorążego WP[7]. Ku czci zabitych w budynek miejscowej stacji kolejowej wmurowano 6 XI 1974 roku tablicę pamiątkową[8].
W końcu XVIII w. w Czastarach była szkoła elementarna pod kuratelą proboszcza miejscowej parafii. Pierwszy drewniany budynek szkoły wzniesiony był w 1869 r. i został rozebrany w 1905 r. Do 1922 r. szkoła w Czastarach była jednoklasowa. W latach 1948–1951 wzniesiono nowy budynek szkoły[9]. W 2009 r. Szkole Podstawowej w Czastarach nadano imię Bohaterów Września 1939 roku[10]. W latach 2004–2019 działał Zespół Szkół składający się ze Szkoły Podstawowej i Gimnazjum[9]. We wsi znajduje się również Publiczne Przedszkole Samorządowe.
Instytucje publiczne
We wsi działa Gminny Ośrodek Kultury. Istnieje również Muzeum Przyrodnicze prezentujące między innymi rozgwiazdy, muszle, kamienie, skorupiaki i monety.
W Czastarach znajduje się parafia pw. Narodzenia Najświętszej Maryi Panny. Została utworzona w XIV wieku. Pierwsza wzmianka pochodzi z 1460 roku. Obecny kościół został wzniesiony w 1847 roku w stylu klasycystycznym.
OSP Czastary
W 1912 roku została założona jednostka ochotniczej straży pożarnej w Czastarach. W 2012 roku jednostka świętowała 100-lecie istnienia.