La tradizione vuole che il castello fosse stato edificato da Carlo II d’Angiò, con lo scopo sia di difendere il piccolo borgo di Vico Equense, sia di utilizzarlo come residenza estiva[1]; tuttavia l’ipotesi più accreditata è che il maniero sia stato costruito dal feudatario Sparano di Bari, secondo le forme militari dell’epoca, con alloggi per soldati, magazzini per i viveri e depositi per munizioni, ottenendo anche un finanziamento dal re angioino[1]: il complesso fu costruito tra il 1284 ed il 1289[2]. Con il passare degli anni appartenne a Gabriele Curiale, paggio della corona d’Aragona, a Ferrante Carafa, feudatario del paese nel 1568 e a Matteo Di Capua, appartenente alla famiglia dei Ravaschieri, i quali furono feudatari di Vico Equense dal 1629 al 1806, anno in cui Giuseppe Bonaparte abolì i feudi[1]; divenne quindi residenza estiva della famiglia reale. Dopo un breve periodo nelle mani di Nicola Amalfi[2], fu di proprietà della famiglia Giusso, che lo acquistò per una somma di quattrocentomila ducati[1], dal 1822 al 1934, quando fu ceduto alla Compagnia di Gesù, i quali a loro volta lo vendettero a privati nel 1970[2].
Della sua fisionomia originale rimane ben poco, solo parte della cinta muraria ed una terrazza sul mare: nel XV secolo furono costruite tre torri, di cui una chiamata Torre Mastra, un ponte e un fossato[1]; nel secolo successivo due torri furono abbattute[3] per far posto al palazzo baronale. Semidistrutto dall’invasione gotica e notevolmente provato da numerose incursioni pirata[3], fu in parte ricostruito nel 1604[4]; nel XVII secolo furono eseguiti numerosi lavori di restauro che trasformarono il castello in una residenza signorile: furono infatti sistemati i giardini, adornati con grotte, giochi d’acqua e piante secolari[5], furono impreziositi gli interni e furono create alcune sale per ospitare la collezione d’arte, andata poi perduta, di Matteo Di Capua[1]. In seguito, Luigi Giusso, e poi il figlio Girolamo, ristrutturano notevolmente l’edificio, donandogli la caratteristica colorazione rosa salmone ed affrescando i saloni come quello delle Armi e quello dei Ventagli, oltre alla piccola cappella privata, dedicata a Santa Maria della Stella, la quale si trovava sullo stesso luogo in cui sorgeva una chiesa, retta dai monaci benedettini, abbattuta per far posto al castello[1]. All’interno del castello morì il 21 luglio 1788 il giurista napoletano Gaetano Filangieri, convinto che l’aria del posto avrebbe giovato alla sua salute cagionevole[5].