El edificio era residencia habitual de los obispos de Girona, los cuales tenían jurisdicción civil y criminal en la zona, otorgada por Jaume I. Así pues, disponía de prisión y de horcas. Según documentos de la época, los condenados a perpetuidad lo tenían muy complicado para sobrevivir, debido a las condiciones de las celdas.  A principios del siglo XVII fue reformado, tal y como se puede leer en la puerta de acceso, construida en 1604 y dónde podemos ver el escudo de armas del obispo Francisco Arévalo de Zuazo, que es quien la hizo construir.

Fue edificado en el siglo XII y es uno de los mejores ejemplos de arquitectura civil románica de la zona. Tiene planta rectangular, con dos pisos, organizados alrededor de un pequeño patio de armas. Sus muros están rematados con almenas, bajo los cuales hay numerosas saeteras.

En el siglo XVI se añadió un cuerpo en el sector oeste. Esto hizo que quedaran ocultas tres ventanas, de perfil circular y abocinadas. La mayoría de salas, tanto del nivel inferior como del superior, están cubiertas con bóveda apuntadas. Sólo se rompe esta norma en el corredor de entrada, que tiene bóveda de cuarto de círculo y la sala pequeña del piso superior, que tiene una bóveda de crucería.

La mayoría de ventanas que podemos observar hoy en día corresponden a la reforma de los siglos XVI y XVII. Tan sólo son visibles desde el exterior algunas ventanas románicas en los muros norte y este.

En el lado derecho de la fachada, podemos observar una estructura que sobresale del resto del edificio. Se trata de la capilla de Sant Miquel. Se accede a ella por una escalera, cubierta con una bóveda de cañón, que parte de la sala central del primer piso. Tiene planta rectangular acabada en un ábside semicircular, pero que por el exterior tiene planta cuadrada y que tiene dos ventanas abocinadas. La nave está cubierta con una bóveda de cañón ligeramente apuntada. La unión entre la nave y el ábside se realiza mediante un arco triunfal, los capiteles del cual están muy erosionados. El acceso a la capilla se realiza a través de dos arcos de medio punto en gradación, que se abren en el  lado suroeste.

Sobre la capilla hay una pequeña terraza y una pequeña torre, las dos protegidas por almenas.

En la fachada principal, podemos ver un matracán, que protegía la puerta de acceso.