Este palacio está ligado al señor de Elío. En el año 1526 costa que pertenecía a Juan Pérez de Subiza, aunque ya en 1542 aparece el nombre de Juan de Elío como propietario. A partir de este momento se suceden diferentes señores, todos ellos con el apellido Elío, desde mediados del XVI hasta principios del XVIII. Se trataba de un señorío de importancia ya que el señor de Elío podía ser llamado a corte ya sea en la rama de la nobleza o militar.

La arquitectura del palacio se relaciona con un estilo tardogótico, compuesto por cuatro alas que constituyen una estructura rectangular. Un ejemplo de este incorporación tardía del gótico se ve en las ventanas del muro que dan a la carretera, con sus rejas de forja gótica.