De corte renacentista, es el único resto que queda de lo que fuese el Castillo-Fortaleza de Bailén, el cual albergó la Iglesia de San Andrés y Santa Gertrudis, así como fue convertido a Mezquita con la ocupación de Abderramán I en tiempos islámicos; vinculado a las familias Ponce de León o el Condestable Iranzo, entre otros, pasando más tarde a ser parte de las dependencias municipales del Ayuntamiento de Bailén. La ocupación napoleónica de 1810 provocó su deterioro hasta su demolición definitiva en 1970 debido a su estado ruinoso. Reconstruida y trasladada de su emplazamiento original, hoy es se encuentra en la que es la Oficina de Turismo, junto a la ermita de Nuestro Padre Jesús y de la cual aún se conserva el escudo heráldico de los Ponce de León, coronándola.