Il progetto della prima costruzione del palazzo fu commissionato dalla famiglia Vigilanti nella prima metà del seicento al pittore architetto Giacomo Giorgetti.
Tra il 1648 e il 1655 il palazzo passò alla famiglia Giacobetti che lo trasforma con grande magnificenza. Nel 1716, alla morte del vescovo Ruggero Giacobetti, il palazzo passò in eredità al cardinale Ruggero Vallemani, membro di una nobile famiglia di Fabriano.
Nel 1800 i Vallemani ristrutturano alcune stanze del palazzo in forme neoclassiche. Rimase in possesso della famiglia fino al 1886, anno in cui il palazzo fu acquistato dal Comune di Assisi per destinarlo a scuole pubbliche (Istituto Magistrale) e alla Biblioteca Comunale.
Oggi è sede della Pinacoteca Comunale.