Il palazzo ducale Ghezzi, è una struttura seicentesca edificata sui resti di un impianto precedente databile al XIV secolo. Il palazzo, che si sviluppa su due piani, sorge a metà strada fra la Chiesa Madre e il Castello, di cui rimane poco o nulla. Di esso, la parte più antica – definita nel progetto del 1881 come «(…) informe rovina medioevale – lugubre ricordo di un tempo che non verrà più» – venne distrutta proprio in quegli ultimi anni dell’Ottocento, quando il paese fu interessato, come tantissimi centri, piccoli e grandi, della penisola, da interventi volti a modernizzarne l’immagine e l’impronta urbanistica, distruggendo così interessanti testimonianze di un passato illustre. Di quell’antico castello, tanto per citare un esempio, furono abbattute le mura e al posto della precedente struttura fu eretto palazzo Chironi.
Tuttora esistente il palazzo ducale ampliato nel XVIII secolo sfruttando parti e muri della precedente dimora baronale. Il lungo prospetto è caratterizzato da un elegante e imponente portale barocco, incorniciato da quattro colonne scanalate, sormontato da un balcone su cui è visibile lo stemma dei duchi Ghezzi, feudatari di Carpignano nel Settecento, e l’iscrizione latina NON SIBI SED ALIIS (“non per sé ma per gli altri”), che richiama alla memoria la generosità dell’antico signore.