El castell, edificat sobre un assentament ibèric i romà, apareix documentat per primera vegada en l'any 1019, quan n'era el senyor Arnust de Begur. A mitjans del segle XI va passar a mans de la comtessa Ermessenda, que en 1057 el va vendre als comtes de Barcelona, que a la seva vegada el van infeudar a diferents famílies al llarg dels segles. En el segle XIV passà a mans de Guilabert de Cruïlles, senyor de Peratallada, que el van posseir fins el segle XVII.

Durant el segle XV es va haver de reconstruir, després que va quedar molt malmès durant la guerra contra Joan II. Encara van ser més importants els danys que va patir en la guerra del Francès, quan el general anglès Doyle el va conquerir als francesos i posteriorment el va dinamitar. 

Així doncs no ens han arribat gaires restes del castell. L'element més destacat és una torre circular de base atalussada i uns cinc metres d'alçada. També podem observar una petita cambra rectangular i una cisterna, que han perdut la seva coberta. En època moderna es van coronar les restes dels seus murs amb merlets.