El lloc de Villae Saccari es esmentat per primera vegada l'any 974, en una butlla del papa Benet VI on es confirmen les possessions de Sant Pere de Rodes. Aquests dominis van ser confirmats novament pel rei Lotari l'any 982.  Les primeres notícies d'aquest castell daten del segle XIII, quan el va comprar l'abat de Sant Pere de Rodes l'any 1240. A partir d'aquest moment s'estableix un vincle molt important entre el monestir i la vil·la. De fet, quan els monjos van abandonar el monestir, ja que amenaçava ruïna, es van instal·lar en el castell. 

La Guerra del Francès va ser el primer moment de decadència d'aquesta fortalesa, ja que fou utilitzat com a caserna militar. Anys més tard, amb la desamortització de Mendizàbal, els monjos van ser desposseïts de les seves propietats i el castell va passar a mans particulars. Amb el pas dels anys es va dividir en diferents habitatges particulars, que van contribuir al seu deteriorament. Aquesta és la imatge que presentava el palau l'any 2007.   

Per sort, el castell és actualment la seu de l'ajuntament de Vila-sacra, el que ha permès la seva total rehabilitació.

Malauradament, ja no quedava cap rastre de la compartició interior del palau i només es van poder recuperar alguns elements com finestres i arcades, així com la porta principal, formada per un arc fet amb grans dovelles, que havia estat cegada.

La part més visible del castell és la seva torre circular. Té una alçada de 14 metres i està dividida en tres plantes. La diferència en el tipus de construcció fa evident les tres etapes constructives.

La porta d'accés s'obre en la segona planta i actualment està comunicada amb el palau.

La resta d'obertures són de factura moderna.

Al seu davant trobem l'església de Sant Esteve, edificada en època tardo-romànica.