Nell'ultimo decennio del XVI secolo, per volontà del "marchese d'oro" Diomede della Corgna, fu edificato un nuovo palazzo residenziale nell'attuale Piazza del Duca, che prese il nome dal suo discendente Fulvio della Corgna, duca di Castiglione.
Diomede, appartenente alla famiglia della Penna, aveva assunto il cognome della Corgna in seguito alla sua adozione da parte di Ascanio. Quest'ultimo, essendo privo di eredi maschi, lo designò come successore al marchesato, di cui Diomede prese possesso alla sua morte, il 3 dicembre 1571.
Il palazzo, terminato nel 1596, era di grandi dimensioni e abbracciava due lati della piazza, sviluppandosi anche lungo l'adiacente via del Roscetto. Attualmente resta soltanto una piccola parte di quella che doveva essere una costruzione ben più estesa. Tra le caratteristiche di maggior pregio dell'edificio va ricordata la scala a chiocciola, rimasta tutt'oggi inalterata, i due ordini di finestre ornate di cornici di travertino e il portone bugnato. Sull'architrave dell'ingresso principale, che si affaccia sulla Piazzetta del Duca, è inciso in caratteri capitali il nome del proprietario del palazzo: DIOMED CORNM.