Το 326 π.Χ. το φρούριο καταλήφθηκε από τους Ρωμαίους και στην συνέχεια πάλι από τους Παρθενόπειους. Το 1441 ο Αλφόνσος Ε΄ της Αραγονίας συνέδεσε τον βράχο με το νησί με μια πέτρινη γέφυρα αντί για την προηγούμενη ξύλινη γέφυρα και οχύρωσε τα τείχη για να υπερασπιστεί τους κατοίκους από τις επιδρομές των πειρατών. Τα αρχαία τείχη, οι εκκλησίες και οι επάλξεις του Κάστρου χτίστηκαν σε μεγάλο βαθμό από το 1300 έως το 1600.
Γύρω στο 1700, περίπου 2000 οικογένειες ζούσαν στη νησίδα, υπήρχε ένα μοναστήρι του τάγματος της Saint Clare, ένα αβαείο Βασιλικών μοναχών, ο επίσκοπος και ο πρίγκιπας με μια στρατιωτική φρουρά. Υπήρχαν επίσης δεκατρείς εκκλησίες. Το 1809, τα βρετανικά στρατεύματα πολιόρκησαν το νησί, υπό τη γαλλική διοίκηση τότε και το βομβάρδισαν μέχρι σχεδόν ολοκληρωτική καταστροφή.
Μεταξύ όλων ξεχωρίζει για το μεγάλο του μέγεθος ο καθεδρικός ναός της Κοιμήσεως της Θεοτόκου, του οποίου ο τρούλος δεσπόζει στο κάστρο.
Σήμερα τα υποβλητικά ερείπια του ναού χρησιμοποιούνται ως
χώρος για συναυλίες, θεατρικές παραστάσεις, αναγνώσεις, προβολές και εκδηλώσεις διαφόρων ειδών. Επιπλέον, κάτω από τη βασιλική υπάρχει μια κρύπτη με πολύτιμες τοιχογραφίες της Φλωρεντινής Σχολής του Giotto που έγιναν μεταξύ 13ου και 7ου αιώνα.
Από τη βεράντα μπροστά μπορείτε να απολαύσετε το μαγευτικό πανόραμα του υποβλητικού χωριού Ischia Ponte.