De corte renacentista, es el único resto que queda de lo que fuese el Castillo-Fortaleza de Bailén, vinculado a las familias Ponce de León o el Condestable Iranzo, entre otros. La ocupación napoleónica de 1810 provocó su deterioro hasta su demolición definitiva en 1970 debido a su estado ruinoso. Reconstruida y trasladada de su emplazamiento original, hoy es la ubicación de la Oficina de Turismo, junto la ermita de Nuestro Padre Jesús.