799 schenkte die Äbtissin des Klosters Milz, Emhilt, dem Kloster Fulda Güter zu „Irminolteshusum“ (= Bei den Häusern des Irminolt). In dieser Urkunde wurde der Ort erstmals genannt.
Im 12. Jahrhundert wohnte Poppo III. (* vor 1131; † 1160) von Henneberg in der Burg und nahm den Namen des Wohnorts in seinen Namen auf. Poppo III. von Irmelshausen wurde so zum Begründer der hennebergisch-popponischen Nebenlinie der Herren von Irmelshausen. Um 1199 erlischt dieser Name schon wieder, da sich die Kinder bzw. Enkelkinder von Poppo III. nach anderen Stammsitzen als Herren von Lichtenberg bzw. Herren von Sternberg bezeichneten. Die Zugehörigkeit des Ortes Irmelshausen ist nicht eindeutig. Während Poppos III. zweiter Sohn Poppo V. († 1199) vermutlich Irmelshausen als Stammsitz wählt, benannte sich dessen Sohn Heinrich II. nach der Burg Sternberg. Poppos V. jüngerer Bruder Gotebold IV. († nach 1187) hingegen bezeichnete sich gleichzeitig als „von Lichtenberg“ (1168–1176) und als „von Irmelshausen-Habesberg“ (1169).
13.–14. Jahrhundert
Gotebold IV. von Irmelshausen-Habesberg starb um 1186. Vermutlich hat er eine Tochter gehabt, welche den Edelfreien Adalberg von Hildenburg heiratete. Da dieser sich im Jahr 1212 nach der Herrschaft Lichtenberg nannte, hat sie wahrscheinlich Lichtenberg und Irmelshausen mit in diese Ehe gebracht. Über die 1228 geschlossene Ehe von Adalbergs Tochter Adelheid mit dem Grafen Otto II. von Botenlauben, dem Sohn des berühmten Minnesängers Otto von Botenlauben, kam der Besitz an die hennebergisch-goteboldische Nebenlinie der Grafen von Botenlauben. Graf Otto II. von Botenlauben gab im Jahre 1228 mit der Zustimmung Adelheids viele der ausgedehnten hildenburgischen Güter dem Hochstift Würzburg zu Lehen. Kurz vor dem Aussterben der Linie Botenlauben im Jahr 1251 verkaufte sie ihren gesamten Besitz. Aus dem Erbe der Grafen von Botenlauben kam Irmelshausen mit anderen unterfränkischen Gütern als Würzburgisches Stiftslehen an Ottos Neffen Hermann I. von Henneberg (* 1224; † 1290).
Dieser formte 1249 aus seinen Gebieten die „Neue Herrschaft Henneberg“ (Pflege Coburg), welche nach Aussterben der Linie Henneberg-Coburg im Jahr 1291 über die Ehe von Hermanns Tochter Jutta an das Kurfürstentum Brandenburg fiel. Durch die Vermählung von Juttas Enkelin Jutta von Brandenburg mit dem Sohn des Fürstgrafen Berthold VII. von Henneberg-Schleusingen, Heinrich VIII., gelangte die Pflege Coburg 1312 als Mitgift an die gefürstete Grafschaft Henneberg-Schleusingen. Als Fürstgraf Heinrich VIII. 1347 starb, wurde der Besitz des Hauses Henneberg-Schleusingen zwischen seiner Witwe und Heinrichs jüngerem Bruder Johann I. aufgeteilt, wobei Jutta erneut die Neue Herrschaft zugesprochen bekam. Mit Juttas Tod 1353 wurde die Neue Herrschaft unter drei ihrer Töchter, Elisabeth, Katharina und Sophie, als Erben aufgeteilt.
1466 wurde die Filiale Irmelshausen von der Pfarrei Mendhausen getrennt und selbständige Pfarrei. Fünf Jahre später wurde eine neue, dem heiligen Jakob geweihte Kirche errichtet. 1511 belehnte man Valentin von Bibra mit dem Patronat. Es erlosch erst 1974 mit dem Tod seines Nachfahren Sigismund von Bibra. Um 1540 wurde von dem Freiherrn von Bibra in Irmelshausen die Reformation eingeführt.
1514 wurde die Wasserburg Irmelshausen vergrößert. Unter Hans von Bibra entstanden 1556–61 drei neue Flügel, der sogen. „Hansenbau“. Kurze Zeit darauf gehörte Irmelshausen zum „Bernhardinischen Stamm“ der Herren von Bibra unter dem Stammvater Bernhard von Bibra (1562–1609). Dessen Sohn Hanns Christoph von Bibra (1602–1636) war der Begründer der lutherischen Linie Irmelshausen, welche sich später in den 1. Älteren Ast mit zwei Zweigen und den 2. Jüngeren Ast aufteilte. Ab dem 16. bis zum 18. Jahrhundert zählten die Herren von Bibra wegen des Besitzes von Gleimershausen (heute ein Ortsteil der Gemeinde Rhönblick), Irmelshausen und Aubstadt zur Reichsritterschaft im Ritterkanton Rhön-Werra des Fränkischen Ritterkreises.
19. und 20. Jahrhundert
Mit dem Reichsdeputationshauptschluss von 1803 setzte die Mediatisierung reichsunmittelbarer Stände in größerem Maßstab ein. Das Rittergut Irmelshausen wurde als Teil des Herrschaftsgebiets der Freiherren von Bibra gemeinsam mit den Nachbarorten Höchheim und Aubstadt durch die Rheinbundakte von 1806 aufgehoben und dem Großherzogtum Würzburg angegliedert.
Evangelisch-Luth. Kirche St. Jakobus. Die Kirche birgt 22 zum Teil prachtvoll ausgestattete Grabmäler der Familie von Bibra.
Bildung
Evangelisch-Luth. Kindergarten „Spatzennest“ in Irmelshausen
Kultur und Brauchtum
Vereine
Gemischter Chor Irmelshausen
Schützenverein Irmelshausen
Brauchtum
1710 ist der Irmelshäuser „Weiberkitz“, der noch heute alle drei Jahre am Fastnachtsdienstag gefeiert wird, erstmals urkundlich nachweisbar. Laut Überlieferung dürfen die Frauen das Fest feiern, weil sie einen Irmelshäuser Zentschöffen auf dem Rückweg vom Gerichtstag in Königshofen aus einer Schneewehe vor dem sicheren Tod retteten. Weitere Bräuche in der Gemeinde sind das Spitzenreiten an Pfingsten sowie die Verteilung des Glücksbrots am Neujahrstag.