Ο Α.Γ.Σ.Κ. Καστοριά ιδρύθηκε στις 6 Αυγούστου 1963 με τη συγχώνευση των ομάδων της Καστοριάς: Άρη, Ατρόμητου και Ορεστιάδας. Ξεκίνησε από τη Β΄ Εθνική και το 1974 ανέβηκε στην Α΄ Εθνική. Έως την περίοδο 1965-1966 αγωνιζόταν με το όνομα Άρης Καστοριάς από την περίοδο 1966-1967 αγωνίζεται κανονικά σαν Α.Γ.Σ.Κ. «Καστοριά». Η Καστοριά κέρδισε για πρώτη φορά την άνοδο της στην Α' Εθνική την περίοδο 1973-1974. Την πρώτη νίκη της στην Α' Εθνική την έκανε με την έναρξη του πρωταθλήματος της επόμενης χρονιάς στις 29 Σεπτεμβρίου 1974, όταν κέρδισε τον επίσης νεοφώτιστο ΠΑΣ Γιάννενα με 1-0 με γκολ του Ανέστη Αφεντουλίδη. Ενδοξότερη στιγμή στα χρονικά του συλλόγου αποτελεί η 25η Μαΐου του 1980, όπου η Καστοριά, όντας η πρώτη επαρχιακή ομάδα που κατέκτησε τίτλο, όταν συνέτριψε με το εντυπωσιακό 5-2 τον Ηρακλή στον αξέχαστο εκείνο τελικό της Νέας Φιλαδέλφειας. Τα τελευταία χρόνια αγωνίζεται μεταξύ Δ’ Εθνικής και τοπικού Καστοριάς. Τη διετία 2013-15 αγωνίστηκε στη Γ’ Εθνική, στην οποία επανήλθε το 2017.