Durante la Revuelta Irmandiña del siglo XV, otros castillos gallegos fueron arrasados pero el de A Peroxa fue uno de los pocos que se salvó. Poco después de este suceso, el castillo pasa a los Condes de Ribadavia, pasando en condado a los Sarmiento y su escudo de armas con trece roeles se convierte en el escudo del ayuntamiento.
Después de la desamortización del siglo XIX, albergó las dependencias municipales durante algún tiempo hasta que en el año 1920 es adquirido el inmueble por un particular, que vendió la piedra de la torre del homenaje (dicen que por 3 euros) para la construcción de la iglesia de A Peroxa.
En la actualidad se conserva poco de lo que debió de ser en su día. Tenía la planta poligonal reforzada por cuatro torreones semicirculares, dos de ellos en la puerta de acceso. En el centro se situaba la Torre del Homenaje. Se pueden ver parte de las bases de las murallas con los cubos, los cimientos de lo que fue la torre del homenaje, un molino, un alpendre y el aljibe que se encontraba en el lado oeste de la muralla.
* Los comentarios realizados sin iniciar sesión quedarán pendientes de aprobación antes de su publicación.