La primera referència històrica al lloc de Cabanes la trobem l'any 885, quan la comtessa Guinedilda, dona de Guifré I, va cedir unes terres, que tenia en aquesta vila, al monestir de Sant Joan del Ter (posteriorment de les Abadesses).

El castell de Cabanes no surt documentat fins l'any 1379, quan pertanyia als vescomtes de Rocabertí.

De l'antic castell només es conserva la seva torre de l'homenatge. Té planta circular, amb un diàmetre exterior de 10,50 metres i amb uns murs que fan 2,50 metres de gruix.

La torre està dividida en dos espais coberts amb voltes circulars. En la segona planta trobem la porta d'accés, formada per un arc de mig punt i llinda monolítica. Aquesta porta està protegida per un matracà.

Tota la torre està feta amb grans carreus ben escairats de pedra calcària, el que ens fa pensar que va ser construïda en el segle XII. Només la part superior està feta amb petits carreus sense treballar i units amb morter, probablement fruit d'alguna reparació.