La vila de Peratallada rep el seu nom per la forma amb que van ser construïdes les muralles, ja que per augmentar la seva alçada es va excavar la roca sobre la que està assentada la població formant un fossar que l'envolta. El lloc de Petra scissa o Petra tallada apareix ja en documents del segle X. 

La població va créixer al voltant del castell dels Peratallada, al que posteriorment se li va afegir un palau gòtic.

Encara es conserva bona part de l'anella de muralles que protegia la població i que està datat entre els segles XII i XIII, tot i que ha estat reparat en nombroses ocasions. El fragment més ben conservat es troba cap al nord, on s'ha conservat un portal.

Al seu davant, però fora de l'anell de muralles, trobem l'església de Sant Esteve.

En el sector més occidental s'han conservat diverses torres, algunes de planta quadrada i una circular.

També mereix especial esment la coneguda com a torre de les hores, dita així per tenir el rellotge públic.

Al seu costat es pot veure les restes d'un antic portal.