El lloc de Verges apareix documentat per primera vegada l’any 959. El seu castell, en canvi, no apareixerà de forma directa en cap document fins el segle XII, quan apareix com una possessió del comtat d’Empúries.

Hug IV d’Empúries va empenyorar el castell de Verges al bisbe Alemany de Girona, com a penyora en una de les nombroses disputes que hi va haver entre el bisbat i el comte.

Ja en 1295 el castell va ser donat en feu a Bernat Amat de Cardona i Empúries, però només el va conservar durant set anys, doncs en 1302 li va ser confiscat.

La vila de Verges va patir els estralls de les lluites entre Joan I d’Empúries i el rei Pere III el Cerimoniós. Les tropes reials van ocupar la població al setembre de 1385. El monarca va annexar el comtat a la Corona, tot i que en 1387 el va retornar al comte Joan.

En 1399 Joan II d’Empúries va vendre la baronia de Verges al seu germà Pere II. Quan aquest va morir, la baronia va passar a mans de la seva esposa, Joana de Rocabertí i per tant aquest llinatge va passar a controlar la baronia, fins l’any 1587 quan es va incorporar a la Corona.

El castell de Verges estava situat a migdia de l’església, en el lloc on avui hi ha les escoles, l’ajuntament i una gran plaça. Només es conserva un fragment de muralla a la part posterior de la casa de la vila, on veiem quatre sageteres.

Si que ha patit una millor sort la muralla que envoltava la població, construïda entre els segles XIII i XIV. Els llenços de la muralla estan reforçats per torres de planta quadrada i circulars.

La part millor conservada es troba en el sector nord. Allí es conserva una torre de planta circular atalussada i que és de factura posterior (segles XV o XVI).

Al seu costat hi ha una torre de planta quadrada, la més alta que s’ha conservat. En ella, com a la muralla adjacent, s’obren nombroses sageteres.

Més a llevant trobem l’únic portal que s’ha conservat, tot i que molt alterat.

La resta de la muralla ha estat molt més alterada per la construcció d’habitatges i per l’obertura de carrers. Encara es conserven algunes de les seves torres integrades en edificis posteriors.

La part sud és la que ha desaparegut en major part per la construcció d’habitatges que aprofiten els panys de muralla i la base de les torres. Actualment podem veure el rec del molí, que aprofita el traçat dels antics valls de la muralla.