Prima sede del palazzo pubblico detto "degli Anziani" prima dello spostamento in Piazza del Plebiscito, l’edifico, eretto proprio sopra l’area dell’antico Porto, viene tradizionalmente attribuito all’architetto Margaritone d’Arezzo intorno al 1270:  il fronte retrostante del palazzo in posizione prospiciente al mare lo favoriva come sede dei fondaci e magazzini comunali in quantodirettamente: l’attuale invaso della piazza è frutto di alcuni allargamenti e trasformazioni urbane, tra le quali rientra la creazione della quinta architettonica della chiesa di Santa Maria del Gesù, rinnovata su di una preesistenza seicentesca da Vanvitelli.