La primera notícia que ens ha arribat del lloc de Sant Llorenç data de l'any 972, quan depenia del monestir de Sant Pere de Camprodon. Des de 1160 sabem que el castell i la vila de Sant Llorenç eren propietat d'Arnau de Llers, que els va deixar en herència al seu fill Bernat. Aquest  va vendre el castell amb tots els seus edificis i possessions al rei Jaume I en 1225. Entre els anys 1249 i 1279, el rei va autoritzar de celebrar mercat cada dilluns a la vila. En 1276 l'infant Pere, fill de Jaume I, va intercanviar la propietat de Sant Llorenç amb la de Torroella de Montgrí, que era de la família Rocabertí.

La vila de Sant Llorenç conserva gran part de la seva muralla medieval edificada entre els segles XIII i XIV. Aquesta formava un recinte de planta gairebé triangular.  Encara avui es conserven vuit torres i tres portals. De les torres sis són de planta quadrada i dues de planta circular.

El Portal de Dalt es troba a ponent. S'obre en la base d'una torre de planta quadrada, que fa uns dotze metres d'alçada.

El Portal de Baix també s'obre en la part baixa d'una torre quadrada, molt modificada i recentment coronada amb merlets.

En el carrer de la muralla s'obre una altra porta, que dona a un camí que voreja el riu.

La capçalera del temple de Sant Llorenç, així com la seva torre campanar formaven part de les estructures defensives de la vila. És per aquest motiu que el campanar té aparença de torre de defensa, gràcies a la seva alçada i robustesa.