Está documentado por primera vez en el año 889 con  el nombre de castillo de Mont Aspre. En el siglo XV, durante la guerra contra Joan II, quedó muy deteriorado y el monarca permitió reaprovechar sus piedras para reconstruir la iglesia de Sant Pere y las murallas de la población. Sólo se conservó la torre circular, conocida como la Torre de las Horas. 

La torre es del siglo XII y tiene siete metros de diámetro y una altura de quince metros. Está asentada sobre la roca. Interiormente está dividida en dos estancias. En el segundo piso, a unos siete metros de altura es donde se abrió la puerta de entrada original, formada por un arco de medio punto adovelado. 

El campanario que corona la torre es del siglo XV. Se construyó para ubicar un reloj, que da nombre a la torre.

En los edificios que hay en los alrededores de la torre se pueden observar algunos fragmentos de muros del antiguo castillo, especialmente en la casa del Dr. Pi i Figueres, impulsor de la restauración de la población. En su casa, ubicada en el solar donde se alzaban parte de las dependencias del castillo, encontramos todavía fragmentos de la fortaleza. Los más destacados son dos puentes con arcos rebajados y la base sobre la que se construyó la capilla.

Excavados en la roca sobre la que se edificó la torre del reloj, todavía se pueden ver algunos sepulcros de época visigoda.