Conosciuto in origine come Palazzo del Vicario, data la sua parte più antica al XII secolo, al'epoca dimora dei Conti Alberti. Nel tempo il palazzo venne ampliato e modificato con l'allestimento della Sala delle Udienze, le prigioni, l'archivio, la Cappella di San Tommaso, e gli alloggi, per accogliere le funzioni di Vicariato.

La torre con l'orologio è stata aggiunta alla costruzione nel 1484.

La Loggia del Vicario, che collega il palazzo alla chiesa dei SS. Tommaso e Prospero, fu cosrtuita nel 1455. Verso la fine del XIX secolo il prospetto del Palazzo fu modificato con l'aggiunta dei merli e con l'apertutra di nuove finestre che si aggiunsero all'originario finestrone centrale.

Tra gli stemmi e le targhe che adornano la facciata, spiccano quelli in terracotta invetriata di scuola robbiana.

Gli interni del palazzo costituiscono il Museo Civico del Palazzo Pretorio.