Les primeres notícies que tenim d'aquesta fortificació daten del segle X, malgrat que l'edifici actual correspon al segle XI. A principis d'aquest segle, els comtes d'Urgell, Eremengol II i Constança, van vendre a Arnau Mir de Tost una sèrie de bens, entre els que es trobava el castell i l'església de Sant Sadurní de Llordà. A la mort d'aquest, el castell i el temple van  tornar a mans dels comtes.

El conjunt el formaven tres recintes fortificats, dels que només queden dos i l'església. El recinte més exterior ha desaparegut gairebé del tot i només es conserven minses traces del seu perímetre.

El segon recinte o recinte jussà té planta triangular, adaptant-se al terreny.

Es conserva part de la torre nord, de planta quadrada i recentment reconstruïda en la seva part superior, tal i com podem comparar en les fotografies del 2006 i del 2014. Conserva algunes espitlleres.

S'accedeix a la torre per una porta de mig punt oberta en el mur est. En aquesta mateixa paret, però en un nivell superior, trobem una altra obertura, que probablement permetia l'accés a un camí de ronda.

Adossada a la torre trobem una gran sala rectangular, que ha perdut la seva coberta i espera a que un equip d'arqueòlegs continuï la feina iniciada ara fa uns anys, però que la vegetació s'ha encarregat de tornar a deixar oculta.

En el mur oest trobem tres pilastres rectangulars, que devien servir de suport dels arcs que reforçaven la coberta. En un nivell superior s'obren tres finestres d'una sola esqueixada, resoltes a l'exterior mitjançant una espitllera. La més meridional ha estat reconstruïda.

La torre sud està gairebé del tot derruïda.

En el recinte sobirà trobem el gran edifici senyorial, molt reconstruït i convertit en museu en les darreres campanyes d'excavació i restauració.

Accedim a aquest recinte noble per una porta de mig punt adovellada, adossada a l'angle nord-oest del gran edifici. Per un estret passadís descobert accedim a un petit pati trapezoïdal on es trobaven les estances del servei i la tropa.

Des d'aquest pati s'accedeix a l'edifici senyorial, que tenia dues plantes. En el pis inferior trobem una gran sala, coberta amb volta de canó reforçada per dos arcs torals i que té vuit finestres d'una esqueixada, que exteriorment tenen aspecte d'espitllera.

En l'extrem sud de la sala trobem un arc de mig punt que ens comunica amb una estança rectangular i coberta amb una volta de canó totalment reconstruïda.

El pis superior l'ocupa una gran sala amb finestres geminades, reconstruïdes i un segon nivell de finestres de mig punt. El sostre, que era  d'embigat de fusta es va enfonsar i el que podem veure actualment respon a una restauració. 

Es desconeix si l'edifici tenia un terrat o bé una coberta a dues aigües.

No us podem oferir imatges de l'interior de l'edifici, doncs en el moment de la nostra visita es trobava tancat, pendent de fer noves intervencions arqueològiques i de consolidació.