Στο Σιδηρόκαστρο, πάνω στον απόκρημνο βράχο στο ύψωμα Κάστρο ή Ισσάρι βρίσκεται το βυζαντινό κάστρο. Η οικοδόμησή του άρχισε τον 7ο μ.Χ. αιώνα. Στα χρόνια του Ανδρόνικου Γ΄(1328-1341) ανακαινίσθηκε και πλαισιώθηκε με πρόσθετα αμυντικά έργα και πύργους.
Στην αντίπερα από το κάστρο όχθη του ποταμού Κρουσοβίτη βρίσκεται ο Πύργος του Ανδρόνικου.
Ήταν τετράπλευρος και είχε πιθανή αποστολή την παρατήρηση και εποπτεία της κοιλάδας ή ήταν κατοικία του εκάστοτε ηγεμόνα. Μετά την κατάληψη του Σιδηρόκαστρου από τους Τούρκους, η πόλη μετονομάσθηκε σε Ντεμίρ-Χισσάρ που σημαίνει στα τούρκικα Σιδερένιο Κάστρο.