Na podstawie rozkazu Ministra Spraw Wojskowych nr 3046/Org z dnia 24 marca 1921 w miejsce batalionów wartowniczych i batalionów etapowych utworzone zostały bataliony celne. 4 batalion celny powstał na bazie 1/III batalionu wartowniczego stacjonującego w Okręgu Generalnym „Kielce”[2]. Etat batalionu wynosił 14 oficerów i 600 szeregowych[3]. Podlegał Komendzie Głównej Batalionów Celnych, a pod względem politycznym Ministrowi Spraw Wewnętrznych[4].
Mimo że batalion był w całym tego słowa znaczeniu oddziałem wojskowym, nie wchodził on w skład pokojowego etatu armii. Uniemożliwiało to uzupełnianie z normalnego poboru rekruta. Ministerstwo Spraw Wojskowych zarówno przy ich formowaniu, jak i uzupełnianiu przydzielało mu często żołnierzy podlegających zwolnieniu, oficerów rezerwy oraz szeregowców i oficerów zakwalifikowanych przez dowództwa okręgów generalnych jako nie nadających się do dalszej służby wojskowej[5]. Rozkazem tajnym nr 10 z 7 października 1921 Komendant Główny Batalionów Celnych nakazał likwidację batalionów nr 14., 17. i 18[6]. W myśl tego rozkazu 14 batalion celny miał przekazać swoją 2 kompanię do 4 batalionu celnego w Ostrowach[7]. W dniu 28 października wszystkie kompanie rozformowywanych batalionów winny odejść do miejsc nowego przeznaczenia[8].
W połowie 1922 batalion został zluzowany przez jednostki Straży Celnej i przedyslokowany na wschodnią granicę[11].
Wykonując postanowienia uchwały Rady Ministrów z 23 maja 1922, Minister Spraw Wewnętrznych rozkazem z 9 listopada 1922 zmienił nazwę „Baony Celne” na „Straż Graniczna”[4]. Wprowadził jednocześnie w formacji nową organizację wewnętrzną[12]. 4 batalion celny przemianowany został na 4 batalion Straży Granicznej.
17 maja 1921 Główna Komenda Batalionów Celnych zarządziła zmiany dyslokacyjne batalionów. 4 batalion celny miał ochraniać odcinek granicy od Kamieńska do Niezdary. Sztab batalionu rozlokowany miał być w Częstochowie[13].
Odcinek batalionowy podzielony był na cztery pododcinki, które obsadzały kompanie wystawiające posterunki i patrole. Posterunki wystawiano wzdłuż linii granicznej w taki sposób, by mogły się nawzajem widzieć w dzień[14]. W tym zakresie batalion współpracował z posterunkami i patrolami Policji Państwowej. Współpraca polegała na tym, że te pierwsze wystawiały wzdłuż linii granicznej stale posterunki i patrole, natomiast policja tworzyła je w głębi strefy, poza linią graniczną. W zakresie ochrony granicy batalion podlegał staroście[15].
Hubert Bereza, Kajetan Szczepański: Centralna Szkoła Podoficerska KOP. Grajewo: Towarzystwo Przyjaciół 9 PSK, 2014. ISBN 978-83-938921-7-4.
Henryk Dominiczak: Granica polsko-niemiecka 1919–1939. Z dziejów formacji granicznych. Warszawa: Wydawnictwo Ministerstwa Obrony Narodowej, 1975.
Henryk Dominiczak: Granica wschodnia Rzeczypospolitej Polskiej w latach 1919–1939. Warszawa: Wydawnictwo Naukowe PWN, 1992. ISBN 83-01-10202-0.
Bogusław Polak: Z dziejów polskich formacji granicznych 1918−1839. Studia i materiały. T. I. Koszalin: Centralny Ośrodek Szkolenia Straży Granicznej, 1998. ISBN 83-909484-0-0.
TeresaT.Prengel-BoczkowskaTeresaT., Wstęp do inwentarza zespołu archiwalnego „Bataliony Celne”, Szczecin: Archiwum Straży Granicznej, 2009.