Castell inicialment depenent del castell de Lluçà. El trobem documentat per primera vegada l'any 1056, quan Ermessemda, l'esposa de Sunifred II de LLuçà, va donar al seu fill Ramon, levita, l'alou de Cher.  En el document de la donació s'establia que quan morís Ramon, l'alou passaria a mans del seu germà Folc o als seus fills. Efectivament a la mort de Ramon va passar a mans de Folc. Aquest va emmalaltir greument i va fer la promesa que si es curava, es faria monjo de Santa Maria de Ripoll.  I així va ser.

El seu germà Berenguer Sunifred va demanar a l'abat de Ripoll el castell de Quer i el seu alou per donar-lo a la canònica de Vic, on havia d'ingressar com a monjo. Aquest va arribar a ser bisbe de Vic i arquebisbe de Tarragona i en el seu testament va confirmar la donació del castell  de Quer, de l'any 1099. Els senyors de Lluçà van protestar i van aconseguir que la canònica els cedís la meitat del castell amb l'obligació de prestar homenatge als bisbes per l'altra meitat. Aquest fet provocà diversos conflictes entre la família Lluçà i el bisbat i que en alguns casos van requerir de documents de concòrdia, com en l'any 1104, quan Pere de Lluçà va signar un acord amb el bisbe Arnau de Vic.

Temporalment el domini de mig castell va passar dels Lluçà als Besora, si bé en 1198 torna a constar com una possessió del Lluçà, amb una entitat pròpia i no com una extensió del castell de Lluçà. A mitjans del segle XIII el castell passarà a mans dels Oló, fins que en 1297 tornava als dominis dels Lluçà, entroncats en aquell moment amb els Portella.

El castell va ser molt modificat al llarg dels segles per adaptar-se als usos ramaders. Actualment és un gran mas, que només conserva del castell una de les seves torres i la capella, dedicada a santa Llúcia.

La torre té planta circular i domina el complex d'edificacions del mas. Ha estat molt modificada i actualment allotja una escala que permet accedir al terrat i a una sala-mirador, amb finestres obertes en època moderna.