Apostolakīs è considerato uno dei migliori calciatori ellenici di tutti i tempi. È stato al centro di alcune controversie, quando è passato dall'Olympiakos al Panathīnaïkos, nel 1990.
Come calciatore, ha trascorso proprio al Panathinaikos i suoi anni migliori, diventando un elemento chiave delle avventure europee della squadra nella Coppa dei Campioni 1991-1992 e nella Champions League 1995-1996. Ha giocato per il PAO fino al 1998.
Nel 2001, è stato per sei mesi allenatore del Panathinaikos, prima di rassegnare le dimissioni. Ha anche guidato la nazionale olimpica greca ai giochi di Atene 2004.
Ha vestito per novantasei volte la divisa della Grecia e ha realizzato cinque reti. Ha fatto parte anche della selezione che ha partecipato al campionato del mondo 1994. Ha mantenuto, per diverso tempo, il record di presenze con la nazionale, battuto poi da Theodōros Zagorakīs.