El lloc de Peralada, o de Toló, es documenta per primera vegada en el segle IX, que donava nom a un comtat. El terme de Toló probablement s'aplicava al castell, mentre que la  villa Petra Lata es corresponia amb el nucli urbà.

En el moment en que l'Empordà va passar a dependre dels reis francs, els comtes d'Empúries-Peralada foren els senyors de la vila, que en ocasions fou residència comtal.

A la mort de Ponç I d'Empúries, el seu fill Berenguer es va convertir en senyor de la vila. Amb ell s'inicià el vescomtat de Peralada, que posteriorment passà a anomenar-se de Quermançó i finalment de Rocabertí. També es va iniciar una època de tensions entre la vila i el comtat d'Empúries. Aquestes tensions es van acabar quan va intercedir-hi el comte de Barcelona, a petició del senyor de Peralada. Aquest suport del comte barceloní no va ser gratuïta i en un document de 1133 es reconeix la batllia i custòdia de la ciutat a favor de Ramon Berenguer IV.

En 1190 Alfons I va cedir els alous de Peralada a Bernat de Navata. Un segle més tard, Ermessenda de Navata es va casar amb Jofré de Rocabertí. D'aquesta manera la vila passà a formar part dels dominis dels Rocabertí.

En 1285 va ser incendiada per les tropes franceses, que la van destruir gairebé del tot.

Ja en el segle XIV els Rocabertí van construir-se un palau fora de les muralles.

Les muralles de la vila es van edificar en diferents moments. Els fragments més antics daten del segle X o del XI. Aquest recinte encerclava la part més alta del puig. D'aquestes muralles només ens han arribat alguns fragments integrats en construccions posteriors.

Aquest recinte primitiu encara conserva dos portals: un a la costa de les Monges, amb un arc de mig punt adovellat i un altre al sector meridional de la plaça de Sant Domènec.

En època gòtica es va ampliar el recinte emmurallat cap est. D'aquest nou recinte, amb el mur atalussat i ple d'espitlleres,  s'han conservat alguns fragments, entre els que destaquen una torre de planta quadrada i uns cinc metres d'alçada i una torre de planta circular.

Junt al convent del Carme trobem un portal d'aquesta segona muralla.