Sorto intorno all’VIII secolo si ergeva sulla sommità della rocca di San Vito, in una posizione altamente strategica e difficilmente espugnabile, dove sembra sia esistito un presidio militare nel periodo arabo, probabilmente preceduto da uno bizantino. In epoca normanna appartenne ad un certo Guglielmo e passò quindi in successione ai signori di Monforte, a Guglielmo di Taburia, signore di Partinico, dal 1258 ai Ventimiglia e ancora in seguito ai principi di Pandolfina e alla casa di Alcontres.
Tra la metà del XVIII e gli inizi del XIX secolo i ruderi del castello furono totalmente demoliti e il materiale reimpiegato per costruire la chiesa della “Matrice Nuova”.
Al castello si doveva accedere attraverso tre grandi porte, una delle quali si doveva trovare ad est (nei pressi del vecchio macello), ricordata dal nome della via di “Porta Grande”. L’unico ingresso ancora visibile è quello sudorientale, che permetteva di accedere a una galleria costituita da una serie di archi a sesto acuto, tuttora esistente sotto la chiesa della “Matrice Vecchia”, da cui si arrivava dentro le mura del castello. La galleria presenta una serie di archi acuti, mentre a una certa altezza si possono ancora notare alcuni assi in legno, che probabilmente servivano per il ponte levatoio. Dalle arcate della galleria deriva forse il toponimo di “Arcadia” attribuito a questa zona del paese.
La via principale di accesso doveva trovarsi sul lato sudoccidentale, e arrivava al castello in corrispondenza dell’attuale “piazza Scala”, nella quale sono forse presenti resti di altre costruzioni.
Sul lato orientale alcuni resti forse di un muro di cinta pertinente al castello sono stati visti all’interno di un edificio privato. Sul lato occidentale altri resti murari sembrano inglobare nel loro perimetro la chiesa della “Matrice Vecchia”.