Σε μια κορφή του Ψαριού (Υψάριο) σε ύψος 800 μέτρων βρίσκεται χτισμένος ο αρχαιότερος οικισμός του νησιού, το Κάστρο. Άκμασε τα χρόνια που η πειρατεία λυμαινόταν το Αιγαίο πέλαγος ενώ εγκαταλείφθηκε ολοκληρωτικά στις αρχές του 20ου αιώνα όταν οι κάτοικοι του κατέβηκαν για να δουλέψουν στα μεταλλεία της γερμανικής εταιρίας SPIEDEL και δημιούργησαν το χωριό Λιμενάρια

Στο χωριό είχε οχυρωθεί με τείχος τα 1434 από τους Γενοβέζους

Για πολλά χρόνια ήταν εγκαταλελειμμένο τα τελευταία χρόνια όμως όλα τα σπίτια έχουν ανακαινιστεί από τους ιδιοκτήτες τους, και χρησιμοποιούνται ως εξοχικές κατοικίες.