El castillo, edificado sobre un asentamiento ibérico y romano, aparece documentado por primera vez en el año 1019, cuando era el señor Arnust de Begur. A mediados del siglo XI pasó a manos de la condesa Ermessenda, que en 1057 lo vendió a los condes de Barcelona, que a su vez lo infeudaron a diferentes familias a lo largo de los siglos. En el siglo XIV pasó a manos de Guilabert de Cruïlles, señor de Peratallada, que lo poseyeron hasta el siglo XVII.

Durante el siglo XV se reconstruyó, debido a que después de la guerra contra Joan II quedó muy destruido. Todavía fueron más importantes los daños que sufrió en la guerra del Francés, cuando el general inglés Doyle lo conquistó a los franceses y posteriormente lo dinamitó. 

Así pues, no nos han llegado demasiados restos de la fortaleza. El elemento más destacado es una torre circular y unos cinco metros de altura. También podemos observar una pequeña estancia rectangular y una cisterna, que han perdido su cubierta. En época moderna se coronaron los restos de sus muros con almenas.