La primera vegada que trobem un document escrit que ens parli d'aquest lloc és en l'acta de consagració de la veïna església de Sant Andreu del Coll, de l'any 995. En ella es descriu que va ser construït pel senyor Emeli, la seva muller Quixila i els seus fills Ramon, Duran i Dagbert. Aleshores l'indret era conegut com a Collo Aliarü, o coll d'Alier.

La fortificació va ser propietat de la família Coll fins l'any 1419, quan apareix com a senyor Ramon de Pujol. Posteriorment va passar per les mans de les nissagues Montagut i dels Vallgornera.

La part més antiga correspon als murs perimetrals del castell, datats en el segle XIII.

Té planta quadrada, d'un 20 metres de llargada. Podem veure diverses espitlleres en els seus murs, que ens indiquen que inicialment va ser construït amb dos pisos d'alçada.

La porta d'accés es troba en el sector de llevant. Està formada per un arc de mig punt, fet amb 10 grans dovelles.

L'edifici va ser reformat en els segles XIV i XV i posteriorment encara va patir unes noves reformes, encara més important entre els segles XVII i XVIII. Aquestes són visibles especialment en la part superior dels murs.

En la part superior del sector nord-oest veiem una distribució de carreus diferent a la de la resta de l'edifici. No es coneix si es va fer amb motius estètics, per alleugerir el pes del mur o bé és una reparació posterior.

També en aquest sector, sota el nivell de les espitlleres de la primera planta, veiem uns carreus disposats de forma vertical.

Les estances s'articulen al voltant d'un pati, que no està centrat. El fet que l'edifici sigui una propietat privada, tot i que no sembla estar habitat habitualment, fins ara n'ha impedit el seu estudi.