Gli Svevi dominarono la città fino alla battaglia di Benevento, nel 1266, in cui tutta l’Italia meridionale, compresa Castrovillari, passò nelle mani degli Angioini, che dominarono fino al 1400, fino a quando, cioè, Ferdinando I d’Aragona riuscì a conquistare definitivamente Castrovillari. A questo periodo dobbiamo il Castello Aragonese, che finito di costruire nel 1480, non aveva come scopo quello di proteggere i cittadini, bensì di tenere a freno le continue rivolte dei Castrovillaresi, da sempre ostili agli aragonesi: questo scopo è testimoniato dalla frase in latino incisa sotto lo stemma che troneggia sull’ingresso del castello: ad continendos in fide cives.