Il Castello aragonese, circondato quasi completamente dal mare, sorse nel XIII secolo in epoca bizantina. Subì radicali modifiche e rifacimenti in periodo angioino e aragonese quando fu costruito un recinto a pianta poligonale fortificato da torri cilindriche. Gli interventi più significativi furono eseguiti dall’architetto senese Francesco di Giorgio Martini il quale lavorò per conto di Alfonso II di Napoli.
Nel 1522 venne costruita la cortina di levante denominata Rivellino, staccata dal perimetro della fortezza e isolata nelle acque. Nella parte superiore della torre si trovavano ancora le originarie catapulte e i cannoni usati per difendere la città. L’accesso al Rivellino è consentito mediante un ponte levatoio in legno ancora esistente.
Il castello possiede grandi sale con volte a botte e a crociera, vari cunicoli e camminamenti. La forma della fortezza rimase invariata sino alla seconda metà dell’Ottocento; fra il 1870 e il 1879 fu riempito il fossato e la facciata fu coperta con la costruzione del mercato ittico.