El castell d'Argimon apareix documentat per primera vegada en l'any 925. És probable que el topònim d'Argimon sigui d'origen germànic i que fos el primer senyor del castell o un habitant de la zona el que portés aquest nom. Els vescomtes de Cabrera van ser els senyors del castell com a mínim des del segle XI, quan trobem documentats diversos juraments de fidelitat entre els vescomtes i els comtes de Barcelona. En 1367 Bernat III de Cabrera es va enfrontar amb el rei Joan I, el qual  va fer assetjar i destruir el castells d'Argimon i de Castelló d'en Bas.

Del castell només s'ha conservat una torre de planta quadrada, edificada al segle XIII. Probablement tenia una alçada de tres plantes. S'accedia a ella per una porta oberta en el mur sud a l'alçada de la planta intermitja,  les restes de la qual encara ens permeten entrar a l'interior de la torre. 

Encara podem veure part de la volta de canó del pis superior. 

L'església, dedicada a la Mare de Déu, era la capella del castell. Tot i que molt probablement ja existia en els segles X o XI, no trobem cap notícia documentada fins l'any 1218. En 1420 es va cremar, si bé es va mantenir el culte. No fou fins el segle XVIII que es decideix refer el temple, ocupant part de l'espai de l'antic castell, destruït en el segle XIV.

El santuari encara conserva algunes parts del temple construït en el segle XI. El temple consta de dues naus, de petites dimensions i cobertes amb vota de canó. La capçalera s'orienta al sud, per tal d'adaptar-se a la morfologia del terreny. De fet en el mur nord podem veure la roca de la muntanya com penetra en les naus. La del costat est té una planta pràcticament rectangular, en canvi la del costat oest és pràcticament quadrada, i acabada en un absis semicircular força irregular.

S'accedeix al temple per l'est, on hi ha un senzilla porta feta amb dos arcs de mig punt adovellats i en gradació.

Al seu damunt trobem un campanar de cadireta d'un sol ull, molt esvelt, i probablement edificat o reconstruït durant les reformes del segle XVIII.

Val la pena acostar-se al santuari i pujar a la seva teulada per gaudir d'unes boniques vistes de la comarca de La Selva.