Il palazzo era più alto di ora, nei restauri del 1926 fu abbassato di un piano, e furono aperte le finestre.
Il palazzo risale al 1338 quando il comune acquistò da Bono di Lello alcune case con cortile e casalino, confinanti con la casa di Bernardo Fiumi. Qui fu costruito il Palatium novum Comunis, che fu completato nel 1342, compresa la volta a piano terra Il palazzo fu di seguito conteso dai vari signori al governo della città finchè nel 1555 iniziarono a dimorarvi stabilmente i Governatori apostolici.
La loggia sotto il comune fu costruita nel 1342. Nel 1381 fu chiuso con un muro la loggia verso ovest e fu posto un cancello verso la piazza. Il fornice sotto il palazzo comunale ricorre nelle tipologie del palazzo comunale, è il luogo d’incontro coperto per il popolo, da qui generalmente partiva la scala che conduceva al piano superiore.
Da non perdere
Volta Pinta
Con la stabile dimora dei governatori nel palazzo nel 1556, il senese Marcello Tuto fece affrescare la volta con allegorie moraleggianti e decorazioni a grottesche, nell’intento di educare i cittadini che qui nei tempi precedenti frequentavano il postribolo il cui accesso era sotto questa volta.
Lo stemma papale è di papa Paolo IV Carafa (1555-1559). Per la realizzazione dei dipinti il 21 agosto 1556 fu versato dal Comune un compenso di 4 fiorini a Raphael Pictor da identificarsi in un Raffaello Coda da Rimini più volte documentato ad Assisi.