Fortificación defensiva de planta cuadrangular, protegida por una doble muralla almenada. Fue construido en el siglo XIII por los templarios, sobre una construcción musulmana anterior.
Desde ese momento sería atalaya defensiva, después pasaría a ser propiedad del señorío. Conserva casi toda su estructura. Cuenta con dos recintos de planta rectangular y cuatro torres, de las que destaca la torre del Homenaje, formada por dos cuerpos, el inferior más voluminoso del que sobresale un matacán. Su interior alberga una gran sala con dos cúpulas y una escalera que accede a la parte superior. En el patio de armas cuenta con diversos espacios habitacionales y dos aljibes. El acceso se realiza por un arco ojival con matacán encima, bajo el que se dispone el escudo de la Casa de Béjar.