Del castillo palacio de Zaidín no queda nada más que un solar, pero la villa conserva las murallas que circundaban dicho palacio por los laterales norte, occidental y meridional. Se trata de una muralla adosada a la roca mediante argamasa de buena calidad, y que tiene una leve pendiente en talud. Según los paramentos de la construcción se observan dos fases claramente diferenciadas: la más antigua corresponde a la zona meridional donde se observa un tramo de unos 8 metros de largo con una aparejo de sillares muy horizontales y más pequeños, destacando alguna marca de picapedrero, y que nos hace pensar en una construcción de los siglos XII o XIII o incluso anterior. El resto de la muralla es claramente muy posterior, y por el estilo aplicado puede datarse del siglo XVI. Se trata de la muralla occidental, con unos 60 metros de longitud que presentan dos torres semicilíndricas y dos rectangulares construidos en sillería y dispuestos en talud, tanto la rectangulares como el muro. Las torres están adornadas a media altura por dos collarines en forma de bocel o base ática. Finalmente en el ángulo Noroeste tan solo se conservan los cimientos del muro perimetral del que sale una muralla de sillares pequeños de medida irregular.

Las defensas se completaban con un foso entre el castillo y la villa así como la fortificación con portales de la población. Los accesos porticados a la villa eran el Portal -al Norte-, la Porteta -en la plaza de la Iglesia-, el Forat -en la calle Baja-, el portal de Furigacho -en la calle Ruiz de Alda- y al parecer una puerta con torre de defensa en la calle Mayor (según Salleras y Pascual).