En la part alta de la vila de Vallfogona trobem el castell de La Sala. Inicialment la població s'agrupava al voltant de l'església parroquial de Sant Julià, fins que Raimon de Milany va manar construir el castell l'any 1355. Fins aquell moment la família dels Milany residia en el castell que porta el seu nom, situat al sud del terme municipal. De mica en mica es va anar abandonant aquest castell en favor del de La Sala, fet que va provocar el deteriorament del recinte fortificat. En 1428 va patir els efectes d'un terratrèmol i com que els Milany ja no hi residien, no el van reconstruir.

L'establiment de la família Milany en el castell de La Sala va provocar que al seu voltant s'anessin concentrant els habitants de Vallfogona, buscant la seva protecció.

El castell té planta rectangular amb tres pisos d'alçada i amb murs de dos metres de gruix. En l'extrem sud-est s'alça una gran torre de set pisos d'alçada, en el darrer dels quals es poden veure les restes d'antics matracans.

El castell es manté gairebé intacte, malgrat que amb el pas dels anys es van obrir nombroses finestres en els seus gruixuts murs.