La primera referència del castell la trobem l'any 922, quan el comte Borrell el va vendre per 5 unces d'argent a Sunyer Llobet. El seu net Silvi Llobet va ser el fundador del monestir de Santa Maria. El va succeir el seu nebot Jofre Bastons, senyor dels castells de Cervià i Púbol, com a feudatari dels comtes de Barcelona i Girona. En 1149 va ser venut a Arnau de Llers.

En l'actualitat el castell està enrunat i ple de vegetació, que dificulta passejar per entre les seves restes. Malgrat que fa uns anys, quan es va fer una actuació per excavar les seves restes, es va condicionar aquest espai com a mirador, actualment la vegetació torna a envair la zona, impedint fins i tot acostar-se al banc de fusta que hi van col·locar. Les runes presenten un aspecte lamentable, que amb una senzilla actuació de neteja i manteniment durant aquests darrers anys s'hauria evitat.

Les restes del castell estan formades per fragments de murs de diferents estances, organitzades al voltant d'una torre mestra, de planta circular, de la que encara es conserva la seva base.

El fragment més gran de muralla el trobem en el sector sud, on gairebé s'han conservat 11 metres. La vegetació que ha crescut l'oculta i impedeix acostar-s'hi amb seguretat.

Han patit millor sort les restes de la muralla que envoltava el poble de la que es conserven algunes restes. Destaca el pany, tot i que molt reconstruït, del carrer Girona.

També formava part de la muralla la Torre de les Hores, ampliada posteriorment per allotjar-hi el rellotge.

En el carrer de l'hospital es conserva un dels portals de la muralla.