La primera referència escrita que hem trobat del castell de Sant Iscle és de l’any 1194, en un document que establia la pau entre Ermengol VIII d’Urgell i el vescomte Ponç III de Cabrera, casat amb la filla del comte d’Urgell i per tant era el cunyat d’Ermengol VIII.

El castell de sant Iscle era una propietat de la família Cabrera, tot i que Guerau V el va donar en feu a l’ordre del Temple.

Les restes més antigues del castell daten de finals del segle XI i principis del XII. Corresponen a la base d'una gran torre circular ubicada en centre del castell i de més de 7 metres de diàmetre.

Aquesta torre va ser enderrocada parcialment en el segle XIII i es va aprofitar la seva part inferior com a base d'un pati o distribuïdor al que s'obren les noves estances.

Aquest castell es va construir en un lloc on ja hi havia ocupació humana, com ho demostren els enterraments que es van trobar durant unes campanyes d'excavació i que estan datats entre els segles IX i X.

En el segle XIII es construeix un nou castell, que és bàsicament el que podem veure en l'actualitat. Tenia planta quadrada, tot i que una mica irregular i protegit externament per un vall.

En cadascun dels seus angles hi havia una torre circular.

La torre que s'ha conservat amb millor estat es troba en el sector sud-est. Aquesta té una alçada aproximada de 15 metres i estava dividida internament en tres pisos. Resten encara els encaixos de les estructures de fusta que servien per fer aquestes divisions. El sostre del darrer pis és l’únic que era de pedra, amb una obertura per poder sortir al terrat.

Les torres del costat est són les millors conservades i en elles podem veure les portes que des del pis superior permetien l'accés al camí de ronda.

S'accedia al castell pel costat oest. En travessar la muralla s'accedia a una gran sala rectangular.

En l'extrem sud d'aquesta sala podem veure tres finestres en forma d'espitllera.

Des d'aquesta estança podem accedir a l'antic distribuïdor, que permetia accedir a les habitacions del sector est, a una gran estança del sector sud i a les petites sales del costat nord. També és lògic pensar que en aquest espai existia una escala de pedra, que permetia l'accés al pis superior.

Dos dels costats del pati eren porxats, com es pot deduir de les restes d'arc de mig punt i pilars que s'han conservat en els costats oest i nord.

En les cambres del costat nord es van localitzar 8 sitges excavades a la roca, fetes entre els segles XII i XIV.

Precisament en el segle XIV es construeix tot un nou edifici adossat al mur oest.

En el mur oest es conserva una finestra de mig punt i una esqueixada.

Aquesta ampliació va comportar la desaparició del principal accés al castell i se'n va construir un de nou en el mur sud, al costat de la torre sud-est.

Un segle més tard es torna a reformar el castell, compartimentant les estances per fer les habitacions més petites. També es construeix una cisterna sota la gran sala del costat sud-est.

L'aparició de les armes de foc fa necessari reforçar les defenses del castell, augmentat el gruix de les muralles i de les torres. Aquesta reforma va quedar inacabada, com es pot veure en la torre sud-oest, doncs el castell es va abandonar en el segle XVI.

Només es va finalitzar la reforma del mur est.

També en aquest moment es reforma l'edifici adossat a l'oest amb la idea de convertir-lo en un palau. És en aquest moment que s'obre un gran portal en el mur nord, sobre el que es va obrir una finestra de considerables dimensions.

Precisament junt al mur oest del palau i fora del recinte fortificat, trobem les restes de l'antiga capella de Sant Iscle.