Ο Αθλητικός Γυμναστικός Σύλλογος Καστοριά ιδρύθηκε στις 6 Αυγούστου 1963 με τη συγχώνευση τριών ομάδων της Καστοριάς, του Ατρομήτου (ιδρύθηκε το 1928) και των Άρη και Ορεστιάδας (και οι δύο ιδρυθείσες στις αρχές της δεκαετίας 1930). Διατηρώντας το όνομα του Άρη Καστοριάς αγωνίστηκε ως και την περίοδο 1965–1966, υιοθετώντας στη συνέχεια την επωνυμία «Α.Γ.Σ. Καστοριά».[3][4][5]
Ο Α.Γ.Σ. Καστοριά ξεκίνησε από τη Β΄ Εθνική και το 1974 ανέβηκε στην Α΄ Εθνική. Κέρδισε για πρώτη φορά την άνοδο του στην Α΄ Εθνική την αγωνιστική περίοδο1973–1974, όταν τερμάτισε πρώτος στον Γ΄ Όμιλο της Β΄ Εθνικής. Την πρώτη νίκη του στην Α΄ Εθνική την σημείωσε με την έναρξη του πρωταθλήματος της επόμενης χρονιάς στις 29 Σεπτεμβρίου 1974, όταν κέρδισε τον επίσης νεοφώτιστο Π.Α.Σ. Γιάννενα με σκορ 1–0 και με γκολ του Ανέστη Αφεντουλίδη.
Ενδοξότερη στιγμή στην ιστορία του Α.Γ.Σ. Καστοριά αποτελεί η 25η Μαΐου 1980 και ο τελικός Κυπέλλου Ελλάδας εκείνης της σεζόν, που διεξήχθη στο Στάδιο «Νίκος Γκούμας» στη Νέα Φιλαδέλφεια της Αττικής. Ο Α.Γ.Σ. Καστοριά έφτασε ως εκεί, έχοντας μετά από αήττητη πορεία αποκλείσει κατά σειρά τον Εθνικό Πειραιώς, τον Α.Ο. Καβάλας, τον Ολυμπιακό Λουτρακίου, την Α.Ε. Λάρισας και στα ημιτελικά τον Μακεδονικό Νεάπολης. Στον τελικό αν και αουτσάιντερ, κατόρθωσε να κατακτήσει ως πρώτη επαρχιακή ομάδα το τρόπαιο συντρίβοντας τον πολύ ισχυρό τότε Ηρακλή Θεσσαλονίκης με το εντυπωσιακό 5–2 και με μεγάλο πρωταγωνιστή τον Τάκη Τσιρώνη, που σημείωσε τρία από τα πέντε τέρματα της ομάδας.[6]
Λίγες μέρες αργότερα, στις 29 Μαΐου 1980 αγωνίστηκε στον τελικό του 1ου Σούπερ Καπ Ελλάδας κόντρα στον πρωταθλητή Ολυμπιακό Πειραιώς, από τον οποίο ηττήθηκε με 4–3 σε έναν αγώνα που διεξήχθη στο Στάδιο «Γεώργιος Καραϊσκάκης» στον Πειραιά.[7] Το καλοκαίρι του 1996 ο σύλλογος επέστρψε στην Α' Εθνική επί προεδρίας Τάκη Κρανιά, αλλά υποβιβάστηκε αμέσως. Ηταν η τελευταία του παρουσία στα μεγάλα σαλόνια.
Το 2012 η ομάδα του Α.Γ.Σ. Καστοριά υποβιβάστηκε στην Α΄ Κατηγορία Ε.Π.Σ. Καστοριάς έπειτα από σχεδόν 50 χρόνια παρουσίας στις εθνικές κατηγορίες. Η ομάδα του Α.Γ.Σ. Καστοριά αγωνίστηκε στην Α΄ Κατηγορία Ε.Π.Σ. Καστοριάς και στην Γ΄ Εθνική μέχρι και το 2018.
Την περίοδο 2017–2018 υποβιβάστηκε από τη Γ΄ Εθνική καθώς αποσύρθηκε πριν την ολοκλήρωση τους πρωταθλήματος, λόγω οικονομικών δυσχερειών. Τον Αύγουστο του 2018 ανέλαβε νέα διοίκηση και παρά τις υποσχέσεις της και τις εξαγγελίες της, για την επιστροφή της ομάδας στις ανώτερες κατηγορίες, δεν κατάφερε την αγωνιστική περίοδο 2018–2019 να λάβει μέρος η ομάδα στα πρωταθλήματα της Ε.Π.Σ. Καστοριάς.[8]
Α.Σ. Καστοριά 1980 (2021–Σήμερα)
Το 2021 και κατόπιν σχετικής απόφασης της εκτελεστικής επιτροπής της Ε.Π.Σ Καστοριάς, ο Α.Γ.Σ. Καστοριά διαγράφηκε και επίσημα από τα μητρώα της Ε.Π.Ο.. Το καλοκαίρι του 2021 ανακοινώθηκε ότι σε συμπόρευση με παλιούς παράγοντες και φίλους του Α.Γ.Σ. Καστοριά, ο Α.Σ. Μέγας Αλέξανδρος Καλλιθέας θα μετονομαστεί σε «Αθλητικός Σύλλογος Καστοριά 1980»[1] με σκοπό τη συνέχεια του εμβλήματος και της ιστορίας της ομάδας και πως η νέα ομάδα θα αγωνίζεται στην Α΄ Κατηγορία της Ε.Π.Σ. Καστοριάς τη σεζόν 2021–2022.[9][10] Τερμάτισε στην 1η θέση του πρωταθλήματος Ε.Π.Σ. Καστοριάς και παράλληλα απέκτησε δικαίωμα συμμετοχής στο ειδικό πρωτάθλημα ανόδου στο οποίο τερμάτισε στην 3η θέση παίρνοντας την άνοδο στη Γ΄ Εθνική της σεζόν 2022–2023.[11]
Στην Γ΄ Εθνική την πρώτη σεζόν (2022–2023) σώθηκε με δυσκολία, ενώ την επόμενη (2023–2024) υποβιβάστηκε στην Α΄ Κατηγορία της Ε.Π.Σ. Καστοριάς μετά από 2 χρόνια, πληρώνοντας την κακή απόδοση στα εντός έδρας παιχνίδια.