Жељезничар је основан 15. септембра, 1921. године од стране радника „Жељезничке радионице” на иницијативу Димитрија Димитријевића. Заједно са Лудвигом Леплеом, Стјепаном Каталинићем и осталим радницима из Жељезничке радионице скупљају новац за куповину лопте и дресова на којима је била као грб извезена локомотива, а затим и за регистрацију клуба код Сарајевског подсавеза. Као тада једини раднички клуб међу осталим, национално оријентисаним, клубовима Жељезничар се сусрео са многим тешкоћама.
Прва јавна утакмица одиграна је са САШК-ом 17. септембра у 16 сати. На игралишту је присуствовало 500 навијача, а САШК је био бољи, победивши са 5:1.
Такмичење у оквиру Сарајевског подсавеза
Прву такмичарску сезону Жељезничар је играо у другом разреду Сарајевског подсавеза, где су још играли клубови: Троја, Шпарта, Баракохба. Екипу је водио Силвио Алкалај, а прва Жељина утакмица у службеном такмичењу одиграна је 2. новембра 1921. против Троје. Резултат је био 1:1. Прву победу у службеним утакмицама „плави” су забиљежили у пролетњем делу прве сезоне против Баракохбе. Резултат је био 7:0. Напокон у сезони 1925/1926 Жељезничар успева ући у Први разред Сарајевског подсавеза. Надмоћно, са 4 победе над конкурентима и гол-разликом 18 — 4 Жељо се докопао дуго жељеног циља. Сезону пре остварена је и рекордна победа у досадашњој историји Жељезничара 18-0. Ова победа остварена је у сезони 1924/25 над екипом Баракохоба, у другом разреду Сарајевског подсавеза.
Први стадион на којем је Жељезничар играо своје утакмице је било војно вежбалиште на Ченгић Вили — Егзерцир. Егзерцир је кориштен јер Жељо као раднички „Жељезничарски спортски клуб” није имао новца за изнајмљивање неког од градских терена којима су газдовали САШК, Хајдук и Славија.
Већину свог лигашког стажа Жељезничар је провео у Сарајевској лиги, док је такмичење у првој лиги Југославије било резервисано за тада бољи САШК.
Одузимање најбољих играча
Почетком Другог светског рата зауставља се рад клуба. Након завршетка рата клуб се обнавља и наступа у првој лиги Босне и Херцеговине коју осваја и тако се пласира у прву лигу Југославије. Међутим након што је градска власт формирала нови клуб „Торпедо” (касније Сарајево) који је требало да представља најбоље из БиХ, Фискултурни савез Босне и Херцеговине је затражио да већина играча Жељезничара пређе у нови клуб. Том Одлуком Жељезничар је новоформираном клубу Торпедо морао уступити своје најбоље играче: Ловрића (капитен), Алајбеговића, Коњевода, Лазаревића, Рајлића, Голца и Шилића. Једини играч који је успио одољети свим уценама је Јошко Домороцки. Такав след догађаја био је погубан по Жељезничар који испада из прве лиге, а период консолидације трајао је до сезоне 1953/54 када се плави поново враћају у Прву лигу Југославије.
Прва титула
Биле су то најславније године тима са Грбавице. Жељезничар је у сезони 1971/72. освојио титулу првака некадашње Југославије. Била је то година у којој су изабраници Милана Рибара сакупили 51, оставивши ФК Црвену звезду са 49 бодова. У последњем првенственом колу Жељезничар је у гостима, на стадиону ЈНА, савладао Партизан, резултатом 4:1, у мечу који је уједно представљао и опроштај Ивана Ћурковића од црно — белих. У том првенству Жељо је доживио само четири пораза, док су 9 пута играли нерешено и победили у 21 утакмици. Импозантнтна гол-разлика говори сама по себи о снази тадашњег Жеље. Постигнуто је 55 погодака, што је било довољно за треће мјесто ранг-листе најефикаснијих екипа, а да је одбрана одиграла велику улогу говори податак да је примљено само 20 голова (најмање у лиги). Постигнута је и велика победа против словеначког Марибора од 8:0. Градски дерби у два сусрета заврсен је нерешено. На Грбавици је био бољи Жељезничар резултатом 2:1, а на Кошеву противник је био бољи идентичним исходом. Као сто је споменуто стручни штаб је предводио Милан Рибар, а на клупи су још седили Сулејман Куловић и Фадил Пожегија. Најбољи стријелац Жеље у овој сезони био је легенда са Грбавице, Јосип Букал са постигнутих 14 погодака, а Божо Јанковић дао је 13, док је Јосип Каталински 12 пута погађао мреже противничких голмана.[1]Слободан Јањуш, голман „плавих” је у тој години постао рекордер по до тада најмањем броју примљених голова у свим одиграним шампионатима, свега 20. Шампионску генерацију чинили су: Слободан Јањуш, Драган Којовић, Велија Бећирспахић, Благоје Братић, Јосип Каталински, Енвер Хаџиабдић, Бранислав Јелушић, Божо Јанковић, Јосип Букал, Един Спречо, Авдија Дераковић, Слободан Којовић, Фахрија Хрват, Џемалудин Сербо, Нусрет Кадрић, Хајрудин Сарачевић, Милош Радовић и Жељко Родић. У дресу најбоље репрезентације Југославије у тој сезони дебитовали су играчи Жељезничара: Јосип Каталински, Един Спречо и Бошко Јанковић.
После оснивања први стадион на којем је Жељезничар играо своје утакмице је било војно вежбалиште на Ченгић Вили — Егзерцир. Егзерцир је кориштен јер Жељо као раднички „Жељезничарски спортски клуб” није имао новца за изнамљивање неког од градских терена којима су газдовали САШК, Хајдук и Славија.
Жељезничар од 1953. године своје домаће утакмице игра на стадиону Грбавица у истоименом сарајевском насељу. Стадион је од 1953. године претрпео три већа реновирања. Прво од 1968. до 1976. када је уклоњена атлетска стаза и направљена северна трибина. Стадион је могао да прими 17.000 гледалаца. Обнављан је после 1995. када је поново изграђена дрвена трибина на западној страни и пред сезону 2004/05 када су на северну и јужну трибину постављена седишта, чиме је капацитет стадиона смањен на 12.000 места. За европске утакмице је затворена источна трибина која не испуњава Уефине критеријуме.
Навијачи клуба се зову Манијаци. Ова навијачка група је настала 1987.
Напомена: Од сезоне 2002/2003. уједињен је фудбал у БиХ, и од тада се игра заједничка лига клубова из Федерације БиХ и Републике Српске. У загради су резултати у Лиги БиХ прије тог периода.
