Entre els anys 1070 i 1100 trobem la primera menció a aquest castell en el jurament de fidelitat, que van fer els nobles del comtat de Besalú al comte Bernat II. Pere Guillem i Arnau Guillem de Castellar van fer el jurament per aquest castell. En 1119 era una propietat de la comtessa Ermessenda, que la va cedir al seu net Udalard II, vescomte de Bas.

Durant el segle XIII va ser una possessió dels comtes d'Empúries, fins l'any 1339, que va passar a la corona, sota el regnat de Pere III.

En 1599, el rei Felip III va nomenar primer comte de Montagut a Guerau de Galceran de Cruïlles i de Santa Pau.  

L'element més destacat de l'antic castell és una gran torre circular. Té un diàmetre interior de gairebé cinc metres i un gruix dels seus murs de més de metre i mig. El que s'ha conservat correspon al nivell inferior, cobert amb una falsa cúpula, que conserva restes de l'encanyissat. 

També es conserven alguns murs perimetrals fets amb carreus poc treballats i amb espitlleres. Malauradament el recinte del castell serveix de pati per a l'antiga rectoria, avui propietat privada, que si bé l'ha salvat de l'abandó i ruïna, en dificulta considerablement la seva observació. 

Al seu costat trobem el santuari de la Mare de Déu del Cós, d'aquí que el castell també sigui conegut amb aquest nom.

El temple, que inicialment era la capella del castell, s'esmenta per primera vegada l'any 1105. En època barroca va ser totalment reformat, dotant-lo de l'aspecte actual. En el seu interior es venerava una imatge de la Verge amb el Nen a la falda, datada en el segle XII i que va ser destruïda en 1936.