La villa de Peratallada recibe su nombre por la forma con que fueron construidas las murallas, debido a  que para aumentar su altura se excavó la roca sobre la que está asentada la población formando un foso que la rodea. El lugar de Petra scissa o Petra tallada, aparece ya en documentos del siglo X. 

La población creció alrededor del castillo de los Peratallada, al que posteriormente se le añadió un palacio gótico.

Todavía se conserva buena parte del anillo de murallas que protegía la población y que está datado entre los siglos XII y XIII, aunque ha sido reparado en numerosas ocasiones. El fragmento más bien conservado se encuentra hacia el norte, donde se ha conservado un portal.

Enfrente suyo, pero fuera de las murallas, encontramos la iglesia de Sant Esteve.

En el sector más occidental se han conservado varias torres, algunas de planta cuadrada y una circular.

También merece especial mención la conocida como torre de las horas, llamada así por tener el reloj público.

A su lado se puede ver los restos de un antiguo portal.