Yaman ialah salah satu daripada pusat-pusat peradaban yang tertua di dunia. Dari abad ke-9 SM hingga abad ke-6 Masihi, Yaman merupakan sebahagian kemaharajaan-kemaharajaan Minaean, Sabaean, Himyarit, Qataban, Hadhramawt, dan Awsan yang menguasai perdagangan rempah yang menguntungkan. Yaman dikenali oleh orang Rom sebagai "Arabia Felix" ("Arab Gembira") kerana kekayaannya yang dihasilkan oleh perdagangan. Augustus Caesar mencuba mengilhakkan Yaman, tetapi ekspedisinya tergagal. Empayar Parsi lebih berjaya dan Yaman menjadi sebuah satrafi Parsi Sassanid.

Pada lewat abad ke-6 dan ke-7, selepas banyak orang Sabaean meneruskan penghijrahan dari Yaman, akibat pemusnahan Empangan Ma'rib (sadd Ma'rib), Yaman menjadi sebuah kawasan Badwi. Pada masa itu, apabila Kemaharajaan Aksum tidak berhasrat meneruskan kemaharajaan yang kuno mereka, Yaman menjadi sebidang tanah tandus, akibat perdagangan rempah dengan orang-orang Rom dan raja-raja Sassanid Parsi yang lebih menguntungkan. Yaman berturut-turut dikuasai oleh empayar Habsyah dan Sassanid Parsi. Pada abad ke-7, khalifah Islam mula menguasai kawasan ini. Selepas kekhalifahan itu dihancurkan, bekas Yaman Utara dikuasai oleh Imam-Imam daripada berbagai-bagai wangsa, biasanya dari mazhab Zaidi, yang mengasaskan struktur politik teokratik yang kekal sehingga zaman moden. ('Imam' dalam konteks ini ialah sebuah istilah agama yang digunakan oleh Syiah untuk merujuk kepada keturunan-keturunan sezuriat Ali, menantu Nabi Muhammad, yang dianggap ditakdirkan sebagai pewaris-pewaris tidak terkelas Nabi Muhammad.)

Khalifah-khalifah Sunah Waljamaah Mesir menduduki kebanyakan Yaman Utara pada sepanjang abad ke-11. Menjelang abad ke-16 dan sekali lagi pada abad ke-19, Yaman Utara menjadi sebahagian Empayar Turki Uthmaniyyah dan pada sesetengah tempoh, Imam-Imannya juga menguasai Yaman Selatan.

Yaman Utara mencapai kemerdekaan daripada Empayar Turki Uthmaniyah pada tahun 1918 dan menjadi sebuah republik pada tahun 1962. Pada tahun 1939, pihak British menduduki pelabuhan Aden dan menjadikannya sebagai sebuah tanah jajahan pada bulan September. Mereka juga mencipta sebuah zon perikatan-perikatan yang tidak dikawal rapi (dikenali sebagai negeri-negeri naungan) di sekitar Aden untuk bertindak sebagai penampan perlindungan. Pada tahun 1967, pihak British berundur selepas tekanan yang semakin meningkat daripada pemberontakan tempatan dan serangan-serangan yang disokong oleh Mesir dari utara. Selepas pengunduran British, kawasan ini dikenali sebagai Yaman Selatan. Pada tahun 1970, kerajaan selatan mengamalkan sistem kerajaan komunis. Kedua-dua negara disatukan secara rasmi sebagai Republik Yaman pada 22 Mei 1990.