El origen de este palacio ha de buscarse en el siglo XIII, cuando el obispo de Segovia decidió construir una fortificación en este lugar estratégico. La estructura de este recinto se componía de una cerca de mampostería/tapial que delimitaba un espacio rectangular (actualmente casi desaparecida) en el se eregía la torre del Homenaje, una capilla de cabecera plana y las estancias del gobernador. en el siglo XVII, los contreras levantan una casona en el lado N y colocan su escudos de armas flanqueando la entrada.

BIC (Bien de Interés Cultural) . Art. 32-34 LPCCYL