Las primeras noticias de este castillo datan del siglo XIII, cuando lo compró el abad de Sant Pere de Rodes en el año 1240. A partir de este momento se establece un vínculo muy importante entre el monasterio y la villa. De hecho, cuando los monjes abandonaron el monasterio, que amenazaba ruina, se instalaron en el castillo. 

La Guerra del Francés fue el primer momento de decadencia de esta fortaleza, al ser utilizado como cuartel militar. Años más tarde, con la desamortitzación de Mendizàbal, los monjes fueron desposeídos de sus propiedades y el castillo pasó a manos particulares. Con el paso de los años se dividió en diferentes viviendas particulares, que contribuyeron a su deterioro. Esta es la imagen que presenta el palacio en el 2007, cuando se han empezado las tareas de restauración.   

La parte más visible del castillo es su torre circular. Tiene una altura de 14 metros y está dividida en tres plantas. La diferencia en el tipo de construcción hace evidente las tres etapas constructivas. La puerta de acceso se abre en la segunda planta y actualmente está comunicada con el palacio. El resto de aperturas son de factura moderna.

Enfrente encontramos la iglesia de Sant Esteve, edificada en época tardo-románica.