Aquest castell apareix documentat per primera vegada l'any 902, quan una dona anomenada Sabrosa va vendre a un tal Bel·lo i a Eguisanna una part d'una casa situada dins el terme del castell de Voltregà. Aquesta fortificació era propietat dels comtes de Barcelona i Ramon Borrell va donar-la a la seva esposa Ermessenda de Carcassona com a dot nupcial, juntament amb altres castells. En 1023, Ermessenda va empenyorar el castell al seu fill Berenguer Ramon I, com a penyora per l'acord de pau que tots dos van signar. Anys més tard, Ramon Berenguer III va donar el castell al comte de Besalú Bernat III, com a dot nupcial de la seva filla Ximena. Com que aquest comte va morir sense descendència, el comtat de Besalú i el castell de Voltregà van passar al comtat de Barcelona.

En 1055, els comtes havien donat en feu el castell als bisbes de Vic, que a la seva vegada el cediren a Guillem de Balsareny. Aquest també va cedir la seva gestió a Amat Elderic d'Orís, que era senescal dels comtes, que feu el mateix amb Sal·la de Voltregà, que encomanà el castell a Arnau Argemir. Aquesta cadena de vassallatges va perdurar, si bé a partir del 1083, el bisbe Sunifred de Lluçà el va infeudar a Guillerm Bernat de Gurb-Queralt, sogre de Pere Amat, que era el fill d'Amat Elderic d'Orís. A partir d'aquest moment el castell estarà dins les possessions de la família Gurb-Queralt com a mínim fins l'any 1196, on Sibil·la de Queralt el deixava en testament al seu fill Berenguer III de Queralt.

En algun moment que desconeixem, el castell va tornar a mans de la mitra de Vic i d'aquests passà a la família dels Montcada. De fet  en 1291, l'infant Pere reconeix que era propietat de la seva promesa, Guilleuma de Montcada i aportava aquest castell com a dot, junt amb altres bens. En morir l'infant sense descendència, el castell s'incorporà a la baronia de Montcada, que va passar a formar part dels dominis de la Corona. De fet, en un document del 1345, el procurador del rei Pere el Cerimoniós fa constar que el monarca era el senyor del castell de Voltregà.

Els Cabrera van adquirir els drets del castlà major, drets que vengueren al ciutadà de Vic Andreu Barrat l'any 1329. Els seus marmessors el van vendre al ciutadà de València Berenguer de Codinacs i aquest el va vendre a Bernat III, vescomte de Cabrera en 1351. Aquest, en 1358, quan era també comte d'Osona, tenia totes les jurisdiccions del castell. Aquest domini no va durar gaire, doncs en 1370 el van vendre al bisbe de Vic, que en va mantenir el control fins la desaparició dels senyorius feudals.

Del castell avui en dia en queden poques restes, ubicades en el cim d'un turó que hi ha al costat de l'església de Sant Martí el Xic.

Sembla que tindria una planta irregular adaptada al terreny, amb un extrem que sobresortia en direcció sud-oest. Al centre d'aquest recinte i en el lloc més elevat, podem veure les restes d'una estança rectangular, probablement la torre principal del castell.

Els seus murs estan fets amb carreus lleugerament devastats i lligats amb morter de calç, intentant fer fileres més o menys regulars.