Les primeres notícies d'aquest castell daten del segle XIII, quan el va comprar l'abat de Sant Pere de Rodes l'any 1240. A partir d'aquest moment s'estableix un vincle molt important entre el monestir i la vil·la. De fet, quan els monjos van abandonar el monestir, ja que amenaçava ruïna, es van instal·lar en el castell. 

La Guerra del Francès va ser el primer moment de decadència d'aquesta fortalesa, ja que fou utilitzat com a caserna militar. Anys més tard, amb la desamortització de Mendizàbal, els monjos van ser desposseïts de les seves propietats i el castell va passar a mans particulars. Amb el pas dels anys es va dividir en diferents habitatges particulars, que van contribuir al seu deteriorament. Aquesta és la imatge que presenta el palau l'any 2007, quan s'han començat les tasques de restauració.   

La part més visible del castell és la seva torre circular. Té una alçada de 14 metres i està dividida en tres plantes. La diferència en el tipus de construcció fa evident les tres etapes constructives. La porta d'accés s'obre en la segona planta i actualment està comunicada amb el palau. La resta d'obertures són de factura moderna.

Al seu davant trobem l'església de Sant Esteve, edificada en època tardo-romànica.