Agregado a dos palacios ya existentes desde el siglo XVI, forma con ellos una gran manzana. Se construye en tiempos del Obispo Don José Franquis Lasso de Castilla (1756-1776). Es obra del barroco tardío a la que se asoman atisbos rococó, aunque en su diseño prevaleció la proyectiva historicista bajo la dirección de Antonio Ramos. A su muerte prosigue las obras José Martín de Aldehuela.
