El palau Sardiaca inicialment era propietat de l'ardiaca d'Empúries. En el segle XIV apareixen com a senyors jurisdiccionals del lloc i del castell els ardiaques de Besalú, malgrat trobar-se dins el territori controlat per l'ardiaconat d'Empúries. Es creu que a l'ardiaca d'Empúries li corresponia la jurisdicció legal del lloc, mentre que l'ardiaca de Besalú era l'autoritat econòmica, en ser el senyor del castell. 

El castell es va edificar al costat del l'església de sant Esteve, passant a ser la seva capella. Malauradament només s'han conservat alguns dels seus murs i tot el conjunt mostra un aspecte deplorable i de total abandó. A la façana destaca un finestral gòtic geminat.

L'església ha patit millor sort, però també es troba en un estat de total abandó, demanant a crits una urgent restauració. L'edifici es va construir en el segle XI, però amb una tècnica i estil propis del segle X.

Té una única nau de planta rectangular, coberta amb una volta de canó lleugerament ultrapassada. Aquesta acaba en una mena de transsepte elevat, típic d'algunes construccions pre-romàniques com el que podem trobar en l'església de la Santa Creu d'Olorda o Sant Esteve de Canapost. També està cobert amb una volta de canó, però perpendicular a la de la nau. Un arc adovellat i lleugerament passat de radi dóna pas a un absis trapezoïdal, que també té la volta de canó. En cadascun dels murs del presbiteri trobem una parella d'arcs cecs que es recolzen en pilastres adossades. Posteriorment es va omplir l'espai de dintre els arcs que hi ha en els murs laterals, mentre que els del mur de llevant foren destruïts, quedant avui només la seva empremta. Els dos arcs torals descansen en una imposta esculpida amb motius geomètrics molt bàsics. 

L'església té dues portes de l'època original de construcció del temple. Una d'elles està al mur oest, als peus de la nau. està formada per un arc de mig punt adovellat, que acollia un timpà i una llinda llisa. L'espai del timpà va ser reomplert en època tardana. Sobre la porta trobem una finestra de doble esqueixada.

L'altra porta es troba en el mur meridional de la nau, prop de l'arc toral que dóna pas al creuer. Era la porta que comunicava amb el palau. És de característiques similars a l'anterior, però d'inferiors dimensions. A cada costat de la llinda s'hi poden veure dues mènsules de secció corbada. 

En el costat nord del creuer es va construir una altra porta en adossar-se el temple al castell. Estava formada per un arc de mig punt adovellat, però posteriorment va ser modificada profundament.

Durant molts anys el temple va restar abandonat i fins i tot es va fer servir com a magatzem, fins que en 1964 s'hi van fer unes obres de restauració. En el transcurs d'aquests treballs es van trobar dos fragments de l'antiga ara d'altar. Datada entre els segles IX i X està formada per un rectangle. En la part superior es va esculpir un marc llis, que té una creu grega amb mànec en la part central.