Des de meitats del segle XI trobem documentats diferents personatges amb l'apel·latiu de Vilafreser. Cal pensar que aquests cavallers i clergues van estar lligats a alguna casa forta situada en el terme de Vilafreser.

La gran torre té planta pràcticament quadrada, essent els costats est i oest lleugerament mig metre més llargs. Actualment té una alçada de divuit metres, que creu que estava dividida en tres plantes més una plana baixa. A aquesta planta, més alta que la resta, només s'hi podia accedir des de l'interior. En època moderna s'hi van obrir algunes portes per utilitzar-lo com a magatzem del mas adjacent.

La planta baixa actualment està coberta amb una volta rebaixada, si bé originalment tenia coberta de fusta, de la que encara es poden veure els punts on es recolzava. La resta de la torre actualment està buida.

S'accedia a la primera planta, la zona noble, mitjançant una porta que hi ha en el mur est. Aquesta està formada per un senzill arc de mig punt fet amb nou dovelles i es troba sis metres per sobre el nivell del terra. Damunt la porta encara es conserven dues cartel·les que evidencien la presencia d'un matracà per defensar-la. També hi ha una obertura, que per les dimensions també podria ser una porta, en el mur oest.

En el mur sud podem veure dues obertures, en la segona i tercera planta, obertes en èpoques posteriors. La resta d'obertures que té la torre són en forma d'espitllera.

El pis superior estava formada per una terrassa amb merlets. En època moderna es van utilitzar aquests merlets per fer unes finestres i es va cobrir la torre amb una teulada de dues aigües.