Todavía hoy se conoce a estos restos como el 'Castillo del moro'. Su construcción en un lugar de difícil acceso gracias a la propia defensa natural del terreno le valió una privilegiada posición defensiva desde el siglo IX. Pasó de manos musulmanas a cristianas.

Una de las mayores reparaciones se llevó a cabo en 1380, cuando el alcalde por aquel entonces era Juan Pasquier. Tras sucesivos propietarios, en 1513 Fernando el Católico concedió el señorío a perpetuidad a Alonso Carrillo de Peralta, junto con el título nobiliario de marqués de Falces.

Existe la leyenda de que debajo de las ruinas existen oscuros pasadizos que salen al campo por la parte de Peralta.