Nel punto più alto dell’abitato di Viggianello sorge il Castello. Il primo insediamento fortificato risale al periodo romano con la costruzione di un castrum a controllo della valle sottostante e delle numerose arterie viarie che si incrociavano sul colle Serra e già utilizzate dagli achei. In seguito i bizantini ne fecero il centro amministrativo del kastrion che inglobava, entro solide mura, anche il borgo agricolo che si sviluppò tra i rioni “Cella” e “Ravita”.
I normanni costruirono la solida torre a base quadrata e ripristinarono le mura di cinta del borgo di cui restano poche e sporadiche tracce. Gli Svevi ampliarono la struttura e l’abbellirono dei fregi tipici dell’arte federiciana. Sede di feudatario in età angioina ed aragonese, il mastio assunse notevoli dimensioni e divenne il centro militare ed amministrativo di un vasto territorio. Fu espugnato nel XV secolo da Consalvo de Cordoba. Nel XVI secolo i principi Sanseverino trasformarono la fortezza in palazzo, cessate ormai le esigenze di difesa.
Si conserva l’antica cisterna ma non si hanno tracce del più volte citato passaggio segreto che attraverso le viscere del paese conduceva nel canale “Carella”, permettendo ai castellani di mettersi in salvo nel caso in cui il castello venisse espugnato. Entro le mura del castello si rifugiò il generale francese Grasson con la sua guarnigione nel 1806 inseguito dal brigante locale Muscariello a capo di una folta banda di filo-borbonici.