Das Gebäude im Renaissancestil ist der einzige noch erhaltene Teil der ehemaligen Festung von Bailén, die unter anderem mit den Familien Ponce de León und Condestable Iranzo verbunden war. Die napoleonische Besetzung von 1810 führte zum Verfall des Gebäudes, bis es 1970 aufgrund seines ruinösen Zustands endgültig abgerissen wurde. Sie wurde umgebaut und von ihrem ursprünglichen Standort verlegt und beherbergt heute das Fremdenverkehrsamt neben der Kapelle Nuestro Padre Jesús.