Les primeres notícies del castell les trobem entre els anys 1051 i 1058, quan la comtessa Ermessenda va jurar fidelitat al compte de Barcelona pels castells de Blanes i Cabrera. És precisament la família dels Cabrera la que tindrà el control del castell durant el segle XIII, que el governaven gràcies a un castlà.

La invasió francesa del 1285 va provocar nombrosos estralls en el castell. Segons les cròniques va ser destruït pel rei francès Felip III.

En el segle XIV els Cabrera van construir un palau al costat del temple parroquial de Blanes. Malgrat això no es va abandonar el castell, ja que durant uns anys el castell va passar a mans de la monarquia. De fet en 1392 el rei Joan I va autoritzar la restauració de les muralles i fossars de Blanes.

En el segle XVI trobem un escrit que va en la direcció contrària, ja que el castell era utilitzat com a pedrera. Francesc de Montcada, que era aleshores el seu propietari, va autoritzar que els caputxins n'aprofitessin la fusta i les pedres.

L'element més destacat del que s'ha conservat és la seva torre de l'homenatge. Va ser restaurada a meitats del segle XIX. Té planta circular i una alçada d'uns 15 metres.

A mitja alçada s'obre una porta orientada cap al nord-oest. La porta situada més avall és de factura moderna.

De la resta de castell s'han conservat alguns fragments de murs. Els més importants es situen en el nord, en el sud i a l'oest. En el costat nord s'obria la porta d'accés.

Malauradament els brètols han omplert de pintades aquestes pedres mil·lenàries...

Als peus del castell trobem l'ermita de Sant Joan. Va ser edificada fora de les muralles per la manca d'espai que hi havia en l'interior de la fortificació.

Les primeres notícies daten del segle XIII, si bé l'edifici actual és del segle XV.

En 1959 es va restaurar i l'artista blanenca Maria Teresa Bedós va decorar els seus murs amb pintures murals.