El castell apareix documentat per primera vegada en 1106, quan el comte de Barcelona Ramon Berenguer IIII el va cedir al vescomte Guerau Ponç de Girona. Déu anys més tard el comte Guerau el va empenyorar a Pere Ramon de Vilademany per 400 morabatins. De totes maneres el senyor del castell passà a ser el vescomte de Cabrera i el senyor de Vilademany el tenia en feu. No s'acabaren aquí les permutes de la titularitat del castell, ja que en 1279 Ramon de Cabrera el va vendre a Berenguer de Gornal, un ciutadà de Girona. Tres anys més tard es torna a vendre el castell, en aquest cas a Guillem Gaufred, clergue de la seu gironina. A la seva mort la fortalesa va passar a mans la Pia Almoina de Girona fins l'any 1776, en que passà a dependre de l'Hospici de Girona.

En 1427 es va haver de reformar, després de quedar molt malmès pels efectes de terratrèmols. En un document de l'època es descriu que s'hi va treballar durant trenta-set dies reparant els desperfectes. 

El castell que ens ha arriba es va construir durant la baixa edat mitjana. L'estructura de planta quadrada, al voltant d'un pati central i amb torres en els angles és molt característica a Catalunya en el segle XIII. 

El sector que menys modificacions ha patit és el que trobem en el costat de tramuntana.

En aquest sector trobem la porta d'accés, típica de les construccions gòtiques, formada per un arc de mig punt, fet amb grans dovelles.

Entre la porta i la torre de ponent trobem un pany de mur que correspon a un edifici anterior, segurament de principis del segle XI. Les característiques constructives d'aquest fragment són molt diferents de la resta del castell amb filades d'opus spicatum.

La resta de l'edifici ha patit nombroses modificacions al llarg dels segles, especialment amb l'obertura de nombroses finestres.

Algunes d'elles són encara originals, entre les que destaca una situada en el mur est, que encara conserva elements decoratius de tipus floral.

L'església de Sant Fruitós estava dins el recinte fortificat. En perdre el castell la funcionalitat defensiva es va aprofitar la torre de l'angle sud-oest per construir el campanar del temple.