El origen de este castillo, parece provenir de finales del siglo XIV cuando el rey Enrique III concede la villa de Adrada al Condestable Ruy López Dávalos sirviendo como lugar de esparcimiento de la realeza y nobleza castellana que encontraban en los hermoso valles y montes que le rodean abundante caza, más que para acciones guerreras.
En el siglo siguiente se levantó la torre del homenaje y se construyó un gran cubo artillero para adoptar las defensas al uso, y ya en el siglo XVI,el castillo se transformó en palacio renacentista porticado según el uso castellano.
Su posesión pasa a manos de Don Alvaro de Luna, en tiempos del rey Juan II y tras su caída en desgracia y ejecución en 1453 forma parte de los bienes de la corona, hasta que su sucesor Enrique IV lo vuelve a ceder a manos nobiliarias en la persona de su favorito D. Beltrán de la Cueva quien lo mantiene para sí y sus sucesores con el título de marquesado en el siglo XVI. En el XVII pasa a la casa de Montijo familia que lo detenta hasta mediados del siglo XIX en que pasa a la de Alba.