Dominant  la serra de Rodes, a uns 670 metres d'alçada, trobem el castell de Sant Salvador de Verdera, documentat per primera vegada en l'any 904 com a Castrum Quod dicunt Verdaria.  L'any 974 va ser cedit pel comte Gausfred de Rosselló i Empúries al monestir de Sant Pere de Rodes, situat uns metres més avall.  Els successors de Gausfred no van veure de bons ulls aquesta cessió, ja que el castell era un punt estratègic molt important. Per aquest motiu Hug I d'Empúries, pels volts de l'any 1007,  va conquerir la fortificació, juntament amb el seu germà Guilasbert de Rosselló. El papa Benet VIII va amenaçar al comte amb l'excomunió si no tornava el castell.  

En 1283 el castell estava molt malmès i parcialment enrunat, fet que va provocar que el comte Ponç Hug decidís reconstruir-lo, amb una certa oposició per part dels monjos del monestir. Aquestes disputes es van acabar amb la una concòrdia entre el comte i el bisbe, mitjançant la qual el primer es comprometia a lliurar el castell al monestir passats tres anys, cosa que finalment no va succeir. De fet en 1285 va ser pres per tropes franceses.

Les disputes entre els comtes d'Empúries i els abats del monestir van continuar al llarg dels anys. De fet es té constància d'una queixa escrita en 1298 per l'abat al bisbe de Girona, on es descriuen les opressions a que els sotmetia el comte . Aquest es va penedir del seu comportament i en 1309 va donar al monestir 10.000 sous per haver construït i mantingut el castell, però no el va retornar al monestir, malgrat el pacte de 1298.

Del castell edificat en el segle XIII encara es conserven alguns dels seus murs, especialment en els sectors de tramuntana i de llevant. Destaquen les runes de l'edifici de l'església, situat en la part més alta del castell. El temple es cita per primera vegada en documents de la segona meitat del segle XIII, si bé per la tipologia de la seva construcció caldria datar-la en el segle XI. Estava formada per tres naus, amb planta basilical, capçades a l'est per tres absis semicirculars. La façana de ponent estava protegida per un pòrtic o galilea. És precisament el sector oest el que millor s'ha conservat, juntament amb part dels murs nord i sud. De la capçalera només es conserva la base de l'absidiola septentrional.

La porta d'accés, de la que encara es conserven part dels muntants i de l'arc de mig punt, es trobava en la part central del mur oest. A banda i banda de la porta s'obren dues finestres de doble esqueixada, que servien per il·luminar les naus laterals. No s'han conservat els arcs formers, ni els pilars que separaven les naus.

El pòrtic és lleugerament més gran que la porta d'entrada. Està format per uns arcs de mig punt i una coberta de volta d'aresta.

En el mur nord hi trobem una altra porta amb llinda i arc de mig punt fet amb petites dovelles, molt malmès per la part exterior.

De la resta del castell cal destacar les set torres de la zona septentrional. Quatre tenen planta rectangular una mica irregular per adaptar-se al terreny, mentre que les altres tres són circulars.

Les altres edificacions que s'han conservat són una gran torre rectangular adossada al mur oest de l'església, la torre del portal d'entrada, situada en el sector  nord-oest i una torre situada en l'angle sud-oest, del que encara es conserva el pis inferior, cobert per una volta de canó.