En un turó proper a l'església de Sant Feliu trobem les restes d'aquest castell, documentat per primera vegada en en l'any 1070.

A partir del segle XIII el castell passà a mans dels senyors de Llers. Posteriorment, en 1262 Ramon de Milany va comprar el castell a Ermengol de Cervià. Aproximadament mig segle més tard, en 1322, el castell fou novament venut, aquest cop al cavaller Ramon des Bac. 

Era una de les construccions militars més grans de la zona. Malauradament avui en dia només queden en peu alguns murs. En la zona sud-est s'alçava l'edifici més important.

Gràcies a les recents obres de neteja i consolidació, han quedat al descobert diverses estances, de les que només es conserven part dels seus murs perimetrals.

També es conserven fragments de la muralla, que estava reforçada amb torres.

Entre les que es conserven podem veure una de planta circular, amb un diàmetre d'aproximadament dos metres.

Dins del recinte del castell hi havia un petit temple dedicat a Sant Llorenç. Estava format per una petita nau amb capçalera quadrada i la porta en el sector de ponent. En l'actualitat només es conserven alguns fragments dels seus murs.

Les imatges aèries van ser fetes des de l'helicòpter encarregat de portar els materials necessaris per a la reconstrucció de l'edifici.