Il castello Sanseverino è stato costruito nella seconda metà dell’XI secolo dai Conti di Montescaglioso, primi feudatari di Saponara. Il Conte Roberto costruì la sua residenza sul cocuzzolo centrale del colle e tutto intorno sorse un Borgo. Venne poi costruita una cinta muraria con sette porte. Con l’affermarsi dei Sanseverino di Saponaria, il castello ebbe numerosi ampliamenti. Nel catasto onciario del 1749 si legge: “L’illustre Luigi Sanseverino… Possiede un palazzo sopra duecento stabili per uso di abitazione, con giardino adiacente”[5].
Esso si sviluppava dall’attuale Largo Umberto I sino all’odierna Piazza Municipio. Intorno al 1700 fu completamente ristrutturato dal principe Carlo Maria Sanseverino e con lui il Castello raggiunse la sua massima estensione e magnificenza. Egli fece costruire ex novo l’ampio salone di corte, l’unica parte ancora rimasta in piedi del Palazzo feudale. Al giardino si accedeva attraverso una scalinata, di cui sono rimaste le tracce in via Roma. La definitiva sistemazione, data da Carlo, comprendeva dodici appartamenti e un “teatro leggiadro pe’ drami musicali e commedie” di cui il principe era appassionato cultore ed autore[6]. Il principe Carlo Maria aveva fatto rappresentare una sua commedia musicale intitolata “Eliododro” in occasione del matrimonio della figlia Aurora. Alla scuderia del castello si accedeva dall’ampio spiazzo, chiamato steccato (oggi Largo Umberto I) e poteva ospitare ben centoventidue cavalli. Ai lati della scuderia c’erano due alte torri di cui non resta traccia. Sul terrapieno sovrastante la scuderia c’era un ampio cortile munito di cisterna ancora esistente