De style renaissance, c’est le seul vestige de ce qui était le Château-forteresse de Bailén, lié aux familles Ponce de León ou au Connétable Iranzo, entre autres. L’occupation napoléonienne de 1810 a causé sa détérioration jusqu’à sa démolition finale en 1970 en raison de son état de délabrement. Reconstruite et déplacée de son emplacement d’origine, elle est aujourd’hui l’emplacement de l’Office de Tourisme, à côté de l’ermitage de notre Père Jésus.