El castillo y ciudadela formaban un conjunto que se enclavaba en una peña elevada. Nada queda de los restos romanos y sólo restan unas ruinas árabes en lo que fue fortaleza. El conjunto constituye un bastión defensivo natural hacia el sur y suroeste, con una altitud de 435 metros sobre el nivel del mar. En esa parte no quedan restos, aunque no hubiera sido importante, ya que el macizo rocoso cortado a cuchillo constituye de por sí suficiente protección. Si resulta más interesante la fortificación en el sector norte y noreste, zona más vulnerable, sobre la que se extiende el pueblo. Se aprecia una puerta con arco de medio punto y torreón defensivo adosado a la roca en primera línea, y dos torres más y lienzos de muralla en segunda instancia. Del resto de lienzo de muralla apenas queda nada, sucesivas destrucciones y reparaciones, así como aprovechamiento posteriores la han modificado.
El recinto cuenta con una extensión aproximada de 10.000 metros cuadrados, con dos accesos desde la plaza de Blas Infante: la calle de la Villa y calle del Arrabal, que conducen respectivamente a la Puerta de la Villa y la Puerta del Arrabal. En su interior, está situado el cementerio, aunque como conjunto independiente al estar murado. En el centro se encuentra la Iglesia Mayor de la Encarnación.
