El lugar de Sant Llorenç aparece documentado el año 972, si bien no encontramos ninguna referencia del castillo hasta principios del siglo XIII, cuando Arnau de Llers lo dejó en testamento a su hijo Bernat, el cual lo vendió a Jaume I en 1225  . Posteriormente pasó a manos de los Rocabertí, cuando Dalmau de Rocabertí el intercambió con el infante Pere por  la villa y el término de Torrella de Montgrí. 

Durante el siglo XV el castillo se convirtió en uno de los puntos de defensa de la frontera con Francia. El rey francés lo sitió en diversas ocasiones, como en 1475 cuando consiguió conquistarlo.

Tenía planta prácticamente triangular, en el centro de la cual estaba la torre del homenaje, de la que todavía se conservan algunos de sus muros. Esta tiene planta rectangular y unos diez metros de altura. La puerta de acceso se encuentra en el muro de poniente, a media altura. La planta inferior está cubierta con una bóveda de cañón.

En el sector norte se conserva una torre circular. En la planta inferior, donde se abren varias saeteras, encontramos los restos y el arranque del techo hecho con una bóveda apuntada. Por encima de esta estancia la torre se levanta unos tres metros más. Los muros estaban coronados por almenas rectangulares, de las que todavía podemos ver algún fragmento.

También se conservan algunos fragmentos de los muros perimetrales, si bien en muy mal estado de conservación.