El edificio se construyó entre 1477 y 1500. Esta magnificamagnífica fachada plateresca de la calle Roso fue realizada en 1515 por mediación del deán Villalón, cuyas armas aparecen sobre la portada. En 1831 se construyó la portada que da a la Plaza de San Jaime. En 1883 se derribó la torre [[mudéjar]] del palacio. Entre 1997 y 2001, se realizó una restauración del edificio, convirtiéndolo en Casa Diocesana y Museo.
