Forgængeren til Haganah var Hashomer, som blev etableret i 1909 og var en efterfølger af Bar-Giora, grundlagt i 1907. Bar-Giora bestod af en lille gruppe jødiske indvandrere, som vogtede jødiske bosættelser mod en årlig afgift. Denne gruppe havde aldrig over 100 medlemmer. Efter arabiske optøjer i 1920 og Jaffa-optøjerne i 1921 mente det jødiske lederskab i Palæstina ikke længere, at de kunne stole på den britiske administrations beskyttelse mod araberne, og derfor skabte jøderne Haganah for at beskytte de mange jødiske bosættelser og kibbutzer.
Mellem 1920 og 1929 manglede Haganah en stærk central myndighed og koordinering. De forskellige enheder var lokale og dårligt bevæbnede. De bestod hovedsagelig af jødiske bønder, som vogtede egne gårde og i fællesskab vogtede deres kibbutzer. Efter palæstinensiske optøjer i 1929 ændrede Haganah sin rolle dramatisk: Det blev en langt større organisation, som omfattede næsten alle de unge og voksne i de jødiske bosættelser samt tusindvis af medlemmer fra byerne. De købte også våben fra udlandet og lavede selv håndgranater og enkelt militært udstyr, og Haganah forandrede sig fra en utrænet milits til en veltrænet militær enhed.
I 1931 skilte de mest militante medlemmer sig ud fra Haganah og dannede den mere militante organisation Irgun. Under 2. verdenskrig organiserede Haganah en ulovlig jødisk indvandring til Palæstina. Cirka 100.000 jøder blev bragt til Palæstina med hundredvis af skibe. Haganah organiserede tillige demonstrationer mod indvandringskvoterne fastsat af det britiske Palestinamandat.
Den 28. maj 1948, mindre end to uger efter oprettelsen af staten Israel den 15. maj, grundlagde den provisoriske regering det israelske forsvar, som skulle efterfølge Haganah. Haganah blev dermed omdannet til det, som siden blev Israels forsvarsstyrker, Tzva Haganah le-Yisra'el (hebraisk: צבא ההגנה לישראל), ofte forkortet til IDF (engelsk: Israel Defence Forces).