Se asienta en la parte más alta de la escarpada elevación que da cobijo al pueblo. En el año 1175 la princesa portuguesa doña Urraca se retiró a vivir en él, razón por la cual se le conoce como Castillo de Doña Urraca. En 1292 el rey Sancho IV lo dona al obispado de Zamora. A principios del siglo XVI fue último refugio de los comuneros levantados contra Carlos I antes de escapar a Portugal.
Únicamente han llegado hasta nuestros días algunas ruinas. Se pueden visitar los restos de lo que fue la torre del homenaje, la plaza de armas y ciertas dependencias, así como torres cilíndricas de la muralla.
Es propiedad privada, pero queda gestionado por el Ayuntamiento del municipio de Fermoselle, y está protegido como Bien de Interés Cultural (BIC) según el Decreto del 22 de abril de 1949 sobre Castillos Españoles.