Les primeres notícies que s'han conservat d'aquest lloc daten del 1168, quan apareix citat en una delimitació de terrenys. El castell, actualment en runes, domina la població des del segle XII. Aquest es va aixecar en el mateix espai on hi va haver una atalaia musulmana.

Alguns estudiosos afirmen que va ser l'ordre del temple la que va construir aquesta fortificació i que després de la seva dissolució en 1311, va passar a mans de l'ordre hospitalària de sant Joan, depenent de la comanda d'Almazán.

Altres fonts mantenen que van ser els cavallers de Sant Joan els únics ocupants d'aquesta fortalesa. Aquests compartien la jurisdicció civil i criminal de la vila amb els comtes de Miranda. Desprès de la desamortització del segle XIX, va passar a mans del poble de Castillejo de Robledo.

El castell tenia un doble recinte de muralles. De l'anella exterior queden en peu molts pocs fragments. Si es conserva la porta d'accés a aquest segon recinte.

Del recinte interior es conserven dues torres utilitzades com a residència. En la part inferior de la torre oriental trobem l'accés principal a aquesta zona, formada per un arc apuntat, que presenta un traçat en forma de colze per dificultar l'atac de tropes enemigues.

Adossat a aquesta torre trobem l'aljub, cobert amb volta de canó.

L'altra torre, de planta quadrada, es creu que era la torre de l'homenatge.

D'aquest recinte interior es conserva una altra porta d'accés molt més petita que la principal.

Als peus del castell hi trobem l'església romànica de Nuestra Señora de la Asunción.