Karatsjajevsk ble grunnlagt i 1926 som Georgijevskoje. Den fikk bystatus i 1929 og skiftet etterhvert navn til Mikojan-Sjahar, etter Anastas Mikojan. Fra 5. oktober 1944 til 1. januar 1957, mens karatsjaiene var i eksil i Sentral-Asia, var byen en del av Den georgiske SSR under navnet Klukhori.
Området rundt byen er rikt på fortidsminner fra middelalderen, som ruinene av Khumar og Sjoana-kirken fra 900-tallet.
