Situat en un punt estratègic del pas entre les planes de la Selva, del Vallès i de Vic, s'alça un dels castells més notables de la zona, junt al de Montsoriu. Apareix documentat per primera vegada en l'any 1040 com a possessió del comte de Barcelona. Ramon Berenguer I el va cedir al vescomte Ramon Folc de Cardona, després que aquest li jurés fidelitat. Aquest a la seva vegada el van cedir a un castlà. Amb el pas dels anys els cavallers de Vilademany van arribar a poseir el domini i la jurisdicció, si bé el castell continuava en mans dels vescomtes de Cardona.

El castell va ser construït a principis del segle XI. Va ser restaurat a finals del segle XX, reconstruint la part superior del mur nord, la més malmesa al llarg dels segles. És per aquest motiu que els merlets d'aquest mur són molt més grans que en la resta del recinte, per diferenciar-los  clarament dels originals.

Està format per una torre mestra de planta circular i uns 12 metres d'alçada, envoltada d'un recinte de muralles, que la protegien, similar als castells de Cruïlles o de Beuda.

Els murs de la torre tenen una amplada d'uns 2,30 metres i un diàmetre superior als 8. Està coronada amb merlets, sota els quals s'obren algunes espitlleres.

La porta d'accés a la torre es troba a uns set metres d'alçada i s'hi podia accedir gràcies a una estructura de fusta.

El recinte murallat té planta trapezoïdal per adaptar-se al terreny. Els seus murs arriben a tenir una alçada de 8 metres, dels quals són romànics els primers 4. La diferència constructiva entre totes dues etapes es pot veure clarament gràcies a l'aparell utilitzat. Mentre que en la part inferior els carreus són de majors dimensions i  distribuïts en filades més o menys regulars, en la part superior els carreus són més petits i col·locats irregularment.

Els murs estaven defensats per nombroses espitlleres en la part inferior i coronats per merlets. Un camí de ronda, restaurat i ampliat  per permetre el pas dels turistes sense perill, envoltava el recinte per la part interior dels murs.

En el costat oest s'obre la porta d'accés al castell. Està formada per un arc de mig punt adovellat.

Per accedir al castell cal pujar per unes escales excavades a la pròpia roca.

però en el mur nord, trobem una altra de menors dimensions i arc rebaixat.

De la resta de dependències del castell no s'ha conservat pràcticament res, només la base dels murs que delimitaven algunes estances.

En el turó que hi ha just al davant del castell s'alçava una torre de guaita, de la que només queden unes quantes pedres del que era un dels seus murs. Com en el cas del castell, per accedir a ella calia pujar per uns esglaons excavats a la roca.

Entre totes dues fortificacions s'ha conservat una gran cisterna.

Als peus del castell trobem el santuari de la Mare de Déu de Farners.