Les primeres notícies que ens han arribat del lloc de Rupià i de l’existència d’un castell, tot i que de manera indirecta, daten de l’any 1128, quan apareix citat un tal Guerau de Rupià. Gairebé un segle i mig més tard, en 1268, Guillema de Rupià va vendre els castells de Rupià i de Fonolleres al bisbe de Girona Pere de Castellnou per 34.000 sous barcelonesos. De totes maneres, en aquesta venda no es va vendre la jurisdicció civil i criminal del castell de Rupià, doncs un any més tard el comte Ponç III d’Empúries va vendre-la al bisbe.

Es conserva un inventari de l’any 1329 que ens permet saber com estava distribuït internament el castell. Es parla de dues estances superiors, una recambra, un estable, un rebost, una cuina i un celler.

De l’antic recinte del castell destaca l’edifici situat en el sector sud-est. És un palau típic dels segles XIV i XV, fet amb grans carreus ben tallats i distribuïts en fileres regulars, de planta rectangular.

En el pis superior hi ha diverses finestres coronelles, amb capitells i impostes decorats amb motius vegetals.

En el mur sud hi ha una antiga porta, de l'edifici es convertí en palau.

L’edifici ha estat restaurat per tal d’allotjar-hi dependències municipals i el bar del poble.

El castell era molt més gran i es creu que ocupava tota la illa de cases on es troba el palau. De fet, en la part interior de la illa podem trobar el que sembla una torre circular, molt modificada i reconvertida en l’oratori d’una de les cases particulars que han ocupat l’espai on antigament estava la fortificació de Rupià.

Al voltant del castell trobem l’església de Sant Vicenç i part de les muralles que des del segle XV envoltaven la població.

La seva planta es rectangular i es conserven les restes de dos portals, un situat cap al sud-est i es conegut com a portal d’Avall i un altre al nord-oest, davant l’església i conegut com portal d’Amunt.

El portal d’Avall ha estat molt modificat al llarg dels segles però encara manté la seva funció, mentre que el d’Amunt ha desaparegut i només es conserven les arrencades dels seus arcs.

La part de muralla de la ciutat més ben conservada  es situa en el sector nord-est on es conserva una  torre i murs atalussats i amb espitlleres integrats en diverses cases.