La compra d’unes terres per part de l’abadessa Emma, de Sant Joan de les Abadesses, l’any 919 és la primera referència escrita que ens ha arribat del castell de Llaés. De fet, entre l’any 1004 i 1005, Bernat, comte de Besalú i la seva esposa Toda van vendre al monestir la meitat de l’alou on estava el castell. Això va provocar que el cenobi es convertís en el senyor del castell, i així consta en un document de l’any 1121, quan Udulard II, vescomte de Bas, va jurar fidelitat a l’abat Berenguer. De totes maneres, en aquest mateix any, Udulard II, com a senyor de Milany, va rebré el jurament de fidelitat per la força de Llaés per part de Guillem Ramon. D’això es dedueix que aquest darrer era el castlà i que els senyors de Milany tenien en feu el castell, propietat de Sant Joan.

En 1230 l’abat Ramon va empenyorar el castell i la parròquia de Llaés als vescomtes de Castellnou, però aquests bens van ser retornat al cap de tres anys.

En un moment indeterminat, quan el castell ja s’havia ensorrat, es van aprofitar alguns dels seus murs per a construir la rectoria de l’església. Actualment, es una casa de turisme rural.

Les restes d’aquesta fortificació dels segles X i XI són força minses degut a l’abandonament del castell i la transformació d’usos que va patir. Accedim al recinte per una porta adovellada.

Un cop dins, a la dreta veiem l’església de Sant Bartomeu i el cementiri, mentre que a l’esquerra hi ha l’antiga rectoria, que ocupa l’espai on s’aixecaven les dependències del castell.

L’estança millor conservada està en el soterrani. Es tracta d’una sala rectangular coberta amb una volta de pedra. Malauradament, quan vam visitar el castell estava ocupat per hostes i per tant no vam poder accedir a les cambres interiors.