El lloc de Sant Llorenç apareix documentat l'any 972, si bé no trobem cap referència del castell fins a principis del segle XIII, quan Arnau de Llers el deixà en testament al seu fill Bernat, el qual el vengué a Jaume I en 1225.  Posteriorment va passar a mans dels Rocabertí, quan Dalmau de Rocabertí el bescanvià amb l'infant Pere per  la vila i el terme de Torrella de Montgrí. 

Durant el segle XV el castell es va convertir en un dels punts de defensa de la frontera amb França. El rei francès el va assetjar en diverses ocasions, com en 1475 quan va aconseguir conquerir-lo.

Tenia planta pràcticament triangular, al centre de la qual hi havia la torre de l'homenatge, de la que encara es conserven alguns dels seus murs. Aquesta té planta rectangular i uns deu metres d'alçada. La porta d'accés es troba en el mur de ponent, a mitja alçada. La planta inferior està coberta amb una volta de canó.

En el sector nord es conserva una torre circular. En la planta inferior, on s'obren diverses finestres en forma d'espitllera, trobem les restes i l'arrencada del sostre fet amb una volta apuntada. Per damunt d'aquesta estança la torre s'alça uns tres metres més. Els murs estaven coronats per merlets rectangular, dels que encara podem veure algun fragment.

També es conserven alguns fragments dels murs perimetrals, tot i que en molt pitjor estat de conservació.