L'edifici era residència habitual dels bisbes de Girona, els quals tenien jurisdicció civil i criminal en la zona, atorgada per Jaume I. Així doncs disposava de presó i de forques. Segons documents de l'època, els condemnats a perpetuïtat ho tenien molt complicat per sobreviure degut a les condicions de les cel·les.  A principis del segle XVII va ser reformat, tal i com es pot llegir en la porta d'accés, construïda en 1604 i on podem veure l'escut d'armes del bisbe Francisco Arévalo de Zuazo, que és qui la va fer construir.

Va ser edificat en el segle XII i és un dels millors exemples d'arquitectura civil romànica de la zona. Té planta rectangular, amb dos pisos, organitzats al voltant d'un petit pati d'armes. Els seus murs estan rematats amb merlets, sota dels quals hi  ha  espitlleres.

En el segle XVI es va afegir un cos en el sector oest. Això va fer que quedessin ocultes tres finestres, de perfil circular i doble esqueixada. La majoria de sales, tan del nivell inferior com del superior, estan cobertes amb voltes apuntades. Només trenquem aquesta norma el corredor d'entrada, que té volta de quart de cercle i la sala petita del pis superior, que té una volta de creueria.

La majoria de finestres que podem observar avui en dia corresponen a la reforma dels segles XVI i XVII. Tan sols són visibles des de l'exterior algunes finestres romàniques en els murs nord i est.

En el costat dret de la façana, podem observar una estructura que sobresurt de la resta de l'edifici. Es tracta de la capella de Sant Miquel. S'accedeix a ella per una escala, coberta amb una volta de canó, que parteix de la sala central del primer pis. Té planta rectangular acabada en un absis semicircular, però que a l'exterior té planta quadrada i que té dues finestres de doble esqueixada. La nau està coberta amb una volta de canó lleugerament apuntada. La unió entre la nau i l'absis es realitza mitjançant un arc triomfal, els capitells del qual estan molt erosionats. L'accés a la capella es realitza a través de dos arcs de mig punt en gradació, que s'obren en el costat sud-oest.

Sobre la capella hi ha una petita terrassa i una petita torre, totes dues protegides per merlets.

En la façana principal, podem veure un matracà, que protegia la porta d'accés.