Il castello risale al XIV secolo e si deve agli Angioini che lo edificarono per potenziare il sistema difensivo della città. Con l’avvento della famiglia Branai (Granai) Castriota, feudatari dal 1535 al 1678, la fortezza venne ristrutturata e ammodernata secondo i criteri militari dell’epoca. Tra gli anni 1540–1545, i lavori guidati dall’architetto Evangelista Menga portarono alla demolizione dei vecchi torrioni circolari e alla costruzione di quattro bastioni a pianta laoncelata. L’attuale fisionomia venne data nel 1911 dall’architetto Napoleone Pagliarulo incaricato dal proprietario Raffaele Elia di rendere la fortezza adatta ai bisogni abitativi della famiglia.
Presenta una pianta quadrangolare caratterizzata da una imponente mole centrale decorata con motivi rinascimentali. Pregevole è la corte interna sul quale si affacciano portali a tutto sesto che conducono negli ambienti interni. Le stanze hanno coperture a botte, a botte ogivale, a padiglione. La cappella di famiglia, dedicata a san Francesco d’Assisi, possiede una copertura con cupola su pennacchi sferici.