L'Altay es va fundar el 1914 a Esmirna amb la intenció d'unir els joves turcs que practicaven esport a la ciutat amb el suport dels polítics del moment amb el nom d'Altay Gençlik ve Spor Kulubü.
Els seus colors negre i blanc representen el dolor i l'honestedat del poble turc.
El jugadors de l'Altay SK representaren Turquia als Jocs Olímpics de París de 1924. També fou el primer club turc que participà en la Copa de la UEFA. El seu jugador Vahap Özaltay fou el primer jugador turc transferit a l'estranger (Racing Club de París el 1932).