Dominando  la sierra de Rodes, a unos 670 metros de altura, encontramos el castillo de Sant Salvador de Verdera, documentado por primera vez en el año 904 como Castrum Quod dicunt Verdaria.  El año 974 fue cedido por el conde Gausfred de Rosselló y Empúries al monasterio de Sant Pere de Rodes, situado unos metros más abajo.  Los sucesores de Gausfred no vieron con buenos ojos esta cesión, debido a que el castillo era un punto estratégico muy importante. Por este motivo Hug I de Empúries, alrededor del año 1007, conquistó la fortificación, junto con su hermano Guilasbert de Rosselló. El papa Benet VIII amenazó al conde con la excomunión si no devolvía el castillo al monasterio.  

En 1283 el castillo estaba muy deteriorado y parcialmente hundido, hecho que provocó que el conde Ponç Hug decidiera reconstruirlo, con una cierta oposición por parte de los monjes del monasterio. Estas disputas se acabaron con una concordia entre el conde y el obispo, mediante la cual el primero se comprometía a entregar el castillo al monasterio pasados tres años, cosa que finalmente no sucedió. De hecho en 1285 fue tomado por tropas francesas.

Las disputas entre los condes de Empúries y los abades del monasterio continuaron a lo largo de los años. De hecho se tiene constancia de una queja escrita en 1298 por el abad al obispo de Girona, donde se describen las opresiones a que los sometía el conde. Este se arrepintió de su comportamiento y en 1309 donó al monasterio 10.000 sueldos por haber reconstruido y mantenido el castillo, pero no lo devolvió al monasterio, a pesar del pacto de 1298.

Del castillo edificado en el siglo XIII todavía se conservan algunos de sus muros, especialmente en los sectores de tramontana y de levante. Destacan las ruinas del edificio de la iglesia, situado en la parte más alta del castillo. El templo se cita por primera vez en documentos de la segunda mitad del siglo XIII, si bien por la tipología de su construcción se debe datar en el siglo XI. Estaba formada por tres naves, con planta basilical, rematadas por el este con tres ábsides semicirculares. La fachada de poniente estaba protegida por un pórtico o galilea. Es precisamente el sector oeste el que mejor se ha conservado, junto con parte de los muros norte y sur. De la cabecera sólo se conserva la base de la absidiola septentrional.

La puerta de acceso, de la que todavía se conservan parte de los montantes y de el arco de medio punto, se encontraba en la parte central del muro oeste. A ambos lados de la puerta se abren dos ventanas de doble derrame, que servían para iluminar las naves laterales. No se han conservado los arcos formeros, ni los pilares que separaban las naves.

El pórtico es ligeramente más grande que la puerta de entrada. Está formado por unos arcos de medio punto y una cubierta de bóveda de arista.

En el muro norte encontramos otra puerta con dintel y arco de medio punto hecho con pequeñas dovelas, muy deteriorado por la parte exterior.

Del resto del castillo hay que destacar las siete torres de la zona septentrional. Cuatro tienen planta rectangular algo irregular, para adaptarse al terreno, mientras que las otras tres son circulares.

Las otras edificaciones que se han conservado son una gran torre rectangular adosada al muro oeste de la iglesia, la torre del portal de entrada, situada en el sector  noroeste y una torre situada en el ángulo suroeste, de la que todavía se conserva el piso inferior, cubierto por una bóveda de cañón.