Conegut actualment com a castell de Sant Gervàs, va ser edificat a finals del segle X ó principis del XI. La torre de l'homenatge, aixecada directament sobre la roca, va ser el primer edifici en construir-se, probablement en el segle X, fomentat per la família Pons.

La torre té en l'actualitat uns 7 metres d'alçada per que un llamp la va escapçar.

El costat nord es va haver de desmuntar i tornar a construir per garantir la seva estabilitat.

És de planta circular i els seus murs tenen un gruix que arriba fins als 2 metres a la base. Interiorment estava dividida en tres nivells, El primer sense accés directe a l'exterior. En el segon pis encara podem veure la porta d'accés, feta amb un arc de mig punt adovellat.

En la planta superior encara es conserven els forats on s'encaixaven les estructures de fusta on es recolzava el cadafals.

El castell tenia planta triangular amb tres bestorres, una en cadascun dels tres angles i de la que només es conserva la del sector nord-oriental.

Com en el cas de la torre principal, aquestes també estaven dividides internament en tres plantes i es comunicaven entre elles per un pas de ronda.

En la part superior del mur oriental, el millor conservat, veiem grans obertures de mig punt per la part interior, que a l'exterior es converteixen en petites espitlleres.

Aquestes obertures estaven destinades a allotjar els arquers, que defensaven la fortificació llençant fletxes per les espitlleres.

Adossat al sud del castell, per on aquest tenia el seu accés principal, s'estenia l'antic poble de Sant Miquel de la Vall. Aquest es va començar a establir sota la protecció del castell entre els segles XI i XII, amb una tipologia típica d'un assentament rural. Les cases eren d'una sola planta i es disposaven de forma esglaonada pel pendent de la muntanya.

A partir de finals del segle XIII el poblat entra en decadència, per què en allunyar-se la frontera del Pallars, la població es desplaça cap al sud on hi havia una altra fortificació coneguda com a Castelló Jussà, que estava ubicada en una zona més plana i més adient per a l'ús agrari. Els diferents enfrontaments entre famílies nobles pel seu control acabaran per sentenciar-lo i en el segle XV ja es considera totalment abandonat. El nou nucli de població prendrà el nom del vell: Sant Miquel de la Vall.

L'antic poble estava emmurallat i ocupava aproximadament unes 8 hectàrees. A partir del 1978 es van realitzar algunes campanyes d'excavació, que van permetre descobrir el perímetre d'alguns habitatges, un carrer i un forn de calç.

Malauradament la vegetació ha tornat a envair totalment les restes del poblat i la manca de cartells informatius impedeixen al visitant accedir als racons excavats durant el segle passat...

És una autèntica llàstima veure com les restes d'aquest poblat van desapareixen entre la vegetació sense que cap administració tingui cura d'aquest interessantíssim recinte fortificat.

L'edifici més destacat del poble era l'església parroquial de Santa Maria, situat a la part més baixa del recinte fortificat.

Encara es pot observar el perímetre del seus murs, que ens indica que estava formada per una sola nau rectangular i capçada a l'est per un absis semicircular.

L'accés a l'església es feia des del mur nord.

Al seu davant es va descobrir la plaça de l'església, ara oculta per la vegetació i la casa rectoral.

A uns 200 metres cap a llevant, trobem la que fou la capella del castell, dedicada a Sant Gervàs.