La nissaga dels Cartellà apareix documentada des de l'any 1107.  No és però fins l'any 1238 que trobem documentat el seu castell i la capella de Santa Maria. La fortificació va ser comprada per Ramon de Xetmar l'any 1321. Gràcies al casament d'Ermesenda de Xetmar amb Pere de Milany, el castell passarà a mans d'aquesta família.

El castell s'alça en una zona lleugerament enclotada, però flanquejada per dues rieres a llevant i ponent, que en facilitaven la seva defensa. Posteriorment es van construir uns valls al sector de tramuntana i de migjorn. S'accedeix al recinte fortificat per un petit i estret pont situat en el sector nord-est.

Té una planta lleugerament trapezoïdal, on les estances es distribueixen al voltant d'un pati central. Malgrat que bona part del castell va ser construït en el segle XIII, interiorment presenta més l'aspecte d'un gran palau gòtic.

En el costat est no hi ha dependències. Només hi trobem un mur, de més d'un metre d'amplada, coronat per merlets on s'obre la porta d'entrada.

Està feta amb un arc de mig punt amb grans dovelles. A la seva esquerra es va obrir una altra porta en època moderna.

S'accedeix a la petita esplanada que hi ha just al davant d'aquesta porta després de travessar una porta oberta en la base de la torre mestra.

Aquesta està situada en l'angle nord-est, unida a la resta del castell mitjançant una prolongació del mur nord.

La torre té planta quadrada, quatre pisos d'alçada i està coronada per merlets.

Un cop dins la fortificació, ens trobem al pati d'armes. On abans formaven els soldats per retre homenatge al senyor del castell, ara campen al seu aire gallines, oques, cabres i gall dindis.

Una escala de pedra, adossada al mur nord, ens permet pujar a la segona planta. Un passadís en forma de balcó recorre mur de ponent. L'estat de conservació no aconsella endinsar-se en les estances d'aquesta ala.

Si que podem entrar a la sala noble, situada en el primer pis del costat nord. És una gran sala rectangular amb una coberta de fusta. En algun moment es va reduir la seva alçada per dividir-la en dos nivells, com podem veure en les restes conservades en els murs laterals.

Actualment s'hi poden veure diverses escultures d'en Carlos Maronna.

Aquesta sala noble es comunica per una petita porta amb la torre de l'homenatge.

L'element més interessant de la sala és la seva gran finestra gòtica, que encara conserva una de les seves columnes. Enfront seu n'hi havia una altra però ha estat molt modificada i ha perdut totalment la seva fisonomia.

Cal destacar el treball escultòric del capitell i de la base conservats.

En el mur est d'aquesta sala i en altres punts del castell es conserven altres finestrals gòtics, en aquest cas de dos ulls i tot i que algunes han perdut el seu mainell.

Fora dels murs del castell trobem la capella, dedicada a la Mare de Déu de l'Esperança.