A mediados del siglo XI Ramon, hijo de Ledgardà juró a Ramon Berenguer I fidelidad por los castillos de Tudela y de Fornells. También en esta época, el hermano de Ramon, que era abad y se llamaba Berenguer, juró fidelidad al conde por este castillo. Dentro del mismo siglo XI encontramos documentados diferentes  señores de este castillo como Ramon Mir de Tudela, Arnau Giuillem de Tudela y el hijo de éste llamado Guillem.

El año 1136 el conde Ramon Berenguer IV y el senescal Guillem Ramon, de la familia de los Montcada, firmaron un pacto por varios castillos entre los que se encontraba el de Tudela. En 1291 el infante Pere se casó con Guillema de Montcada, que recibió como dote este castillo. A partir de este momento pasó a manos de la familia Montcada, si bien cedieron la jurisdicción a los Cartellà, tal y como consta en documentos del año 1314, cuando Ermessenda de Cartellà era señora de los castillos de Rocacorba, Tudela y Colltort.

En la cima de la montaña de Sant Grau encontramos restos de un antiguo poblado ibérico, descubierto en 1935, pero no excavado nunca, el castillo de Tudela y la iglesia de Sant Grau.

El castillo está derrumbado casi  totalmente. Del edificio del siglo XII sólo se ha conservado la base de una torre circular.

El fragmento conservando no supera los dos metros y medio de altura, debido a que en época moderna se aprovecharon gran parte de los muros del castillo para construir una masía. Esto también influyó en el hecho que no se hayan conservado fragmentos más importantes del castillo.

La capilla de Sant Grau aparece documentada desde 1548, si bien se cree que se edificó sobre la antigua capilla del castillo. Está formada por una sola nave rematada al este por un ábside semicircular y dos capillas laterales. La fachada se reformó a principios del siglo XIX y estaba coronada por una espadaña, hoy desaparecida. 

En la actualidad, en el espacio del castillo y de la capilla se ha ubicado un punto de vigilancia forestal y un mirador, que permite disfrutar de unas maravillosas vistas.