El lugar de Peralada, o de Toló, se documenta por primera vez en el siglo IX, dando nombre a un condado. El término de Toló probablemente se aplicaba al castillo, mientras que la villa Petra Lata se correspondía con el casco urbano.

En el momento en que el Empordà pasó a depender de los reyes francos, los condes de Empúries-Peralada fueron los señores de la villa, que en ocasiones fue residencia condal.

A la muerte de Ponç I de Empúries, su hijo Berenguer se convirtió en señor de la villa. Con él se inició el vizcondado de Peralada, que posteriormente pasó a denominarse de Quermançó y finalmente de Rocabertí. También se inició una época de tensiones entre la villa y el condado de Empúries. Estas tensiones se acabaron cuando intercedió el conde de Barcelona, a petición del señor de Peralada. Este apoyo del conde barcelonés no fue gratuito y en un documento de 1133 se reconoce la alcaldía y custodia de la ciudad a favor de Ramon Berenguer IV.

En 1190 Alfons I cedió los alodios de Peralada a Bernat de Navata. Un siglo más tarde, Ermessenda de Navata se casó con Jofré de Rocabertí. De este modo la villa pasó a formar parte de los dominios de los Rocabertí.

En 1285 fue incendiada por las tropas francesas, que la destruyeron casi por completo.

Ya en el siglo XIV los Rocabertí se construyen un palacio fuera de las murallas.

Las murallas de la villa se edificaron en diferentes momentos. Los fragmentos más antiguos datan del siglo X o del XI. Este recinto rodeaba la parte más alta del monte, en el que está Peralada. De estas murallas sólo nos han llegado algunos fragmentos integrados en construcciones posteriores.

Este recinto primitivo todavía conserva dos portales: uno en la cuesta de las Monjas, con un arco de medio punto doveldo y otro en el sector meridional de la plaza de Sant Domènec.

En época gótica se amplió el recinto amurallado hacia el este. Del nuevo recinto, con el muro en forma de talud y lleno de saeteras,  se han conservado algunos fragmentos, entre los que destacan una torre de planta cuadrada y unos cinco metros de altura y una torre de planta circular.

Junto al convento del Carme encontramos un portal de esta segunda muralla.