La província fou creada com a resultat de la proclamació 1943/1, que creava 12 taklai ghizats amb les 42 províncies existents de mides variables.[1] Una comparació dels dos mapes de Margary Perham a The Government of Ethiopia mostra que Hararghe es va crear combinant el sultanat d'Aussa, les terres dels Issa, i l'Ogaden, amb les províncies (creades el 1935) de Chercher i Harar.[2] El 1960, la part meridional de la província al sud del riu Shebelle es convertia en província separada amb el nom de Bale.[3] Amb l'adopció de la nova constitució del 1995, Hararghe es dividia entre l'Oròmia, la regió d'Harar i la Regió Somali, formant una gran part gran d'aquesta darrera.
Administrativament la província estava dividida en 13 awrages (awraja):