La zona de Caracena es trobava en plena frontera entre els regnes cristians i musulmans. De fet, a finals del segle X les tropes cristianes van efectuar diverses campanyes militars des de San Esteban de Gormaz i des d’Osma per intentar consolidar el territori entre aquestes poblacions i Atienza, més al sud. Les campanyes d’Almansor van fer retrocedir novament la frontera cap al nord i la vila de Caracena va tornar a mans musulmanes. No serà fins la campanya de Ferran I, a meitats del segle XI, que s’aconseguirà conquerir definitivament la zona.

En 1136 es produeix una disputa entre les seus episcopals d’Osma, Sigüenza y Tarazona pel control de la zona, situació que es va resoldre amb una sentència del cardenal Guido de Bolonia, confirmada per Alfons VII i pel papa Inocenci II. Aquesta és la primera referència escrita que ens ha arribat del lloc de Caracena i del seu castell. El propi rei Alfons VII va intercanviar amb el bisbe de Sigüenza aquesta vila i els pobles que depenien d’ella l’any 1140, amb la vila de Serón. Sis anys més tard, el rei tornava a fer una permuta amb el bisbe, passant novament Caracena a ser territori reial.

Malgrat la sentència de l’any 1136, el bisbat d’Osma no va donar per perduda la causa i intentarà fer-se amb el control religiós de la zona en diverses ocasions i això va obligar al papa Alexandre III a emetre diverses butlles amenaçant amb l’excomunió si no s’acatava la sentència. En 1165 es posa fi a aquesta disputa, malgrat que esporàdicament van tornar a aparèixer.

A mitjans del segle XIV, Pere I de Castella, va donar la vila a Pedro Ruiz de Villegas. En 1366 el senyor de Caracena era Pedro de Luna i dos anys més tard ho era la família Tovar. En el segle XV, aquesta família va recolzar a Juana la Beltraneja en les seves aspiracions al tron de Castella i per això, Juan de Tovar va perdre el control de la vila en favor de la Corona. Ferran el catòlic va vendre-la a Alfonso Carrillo de Acuña l’any 1491. Aquest va ser l’encarregat de refer el castell, que havia estat profundament malmès durant la guerra civil castellana i el va adaptar a l’ús de les armes de foc.

La fortificació, tal i com la coneixem avui en dia, té un doble recinte de muralles. El recinte interior té planta de quadrilàter trapezoïdal, que es desenvolupava al voltant d’un pati d’armes central.

Els seus murs estan reforçat per cinc torres semicirculars. En l’angle sud-est, s’alça la torre de l’homenatge, de planta rectangular.

Malauradament totes les estances d’aquest recinte s’han perdut. Si que podem veure encara el seu accés, situat en l’angle oposat a la torre de l’homenatge.

A poca distància del primer anell de muralla, s’alça el segon, creant un passadís perimetral.

Aquest segon anell està reforçat amb deu torres semicirculars. En elles podem veure espitlleres per a les armes de foc.

L’accés al castell està flanquejat per dues d’aquestes torres i no coincideix amb l’angle on està la porta del recinte interior per dificultar-ne l’accés.

Un fossar envoltava aquest segon recinte de muralles.

El castell estava integrat en el sistema defensiu que envoltava la població de Caracena. D’ell sortien els murs que la protegien. Actualment només es conserven petits fragments d’aquesta muralla, els més importants es troben a l’est i a l'oest del castell i es corresponen amb la muralla medieval.

Malauradament, aquest impressionant castell és de propietat privada. Segons l’ajuntament són una vintena els propietaris i això dificulta enormement la seva recuperació i explotació com a element turístic de la vila.