Entre los años 1070 y 1100 encontramos la primera mención a este castillo en el juramento de fidelidad, que hicieron los nobles del condado de Besalú al conde Bernat II. Pere Guillem y Arnau Guillem de Castellar hicieron el juramento por este castillo. En 1119 era una propiedad de la condesa Ermessenda, que la cedió a su nieto Udalard II, vizconde de Bas.

Durante el siglo XIII fue una posesión de los condes de Empúries, hasta el año 1339, que pasó a la corona, bajo el reinado de Pere III.

En 1599, el rey Felipe III nombró primer conde de Montagut a Guerau de Galceran de Cruïlles y de Santa Pau.  

El elemento más destacado del antiguo castillo es una gran torre circular. Tiene un diámetro interior de casi cinco metros y un grosor de sus muros de más de metro y medio. Lo que se ha conservado corresponde al nivel inferior, cubierto con una falsa cúpula, que conserva restos del encañado. 

También se conservan algunos muros perimetrales hechos con sillares poco trabajados y con saeteras. Desgraciadamente el recinto del castillo sirve de patio para la antigua vicaría, hoy propiedad privada, que si bien lo ha salvado del abandono y ruina, dificulta considerablemente su observación. 

A su lado encontramos el santuario de la Mare de Déu del Cós, de aquí que el castillo también sea conocido con este nombre.

El templo, que inicialmente era la capilla del castillo, se menciona por primera vez el año 1105. En época barroca fue totalmente reformado, dotándolo del aspecto actual. En su interior se veneraba una imagen de la Virgen con el Niño en el regazo, datada en el siglo XII y que fue destruida en 1936.