Desde mediados del siglo XI encontramos documentados diferentes personajes con el apelativo de Vilafreser. Hay que pensar que estos caballeros y clérigos estuvieron ligados a alguna casa fuerte situada en el término de Vilafreser.

La gran torre tiene planta prácticamente cuadrada, siendo los lados este y oeste ligeramente medio metro más largos. Actualmente tiene una altura de dieciocho metros. Se cree que estaba dividida en tres pisos más una planta baja. A esta planta, más alta que el resto, sólo se podía acceder desde el interior. En época moderna se abrieron algunas puertas para utilizarla como almacén de la  masía adyacente.

La planta baja actualmente está cubierta con una bóveda rebajada, si bien originalmente tenía cubierta de madera, de la que aún se pueden ver los puntos donde se apoyaba. El resto de la torre actualmente está vacía.

Se accedía a la primera planta, la zona noble, mediante una puerta que hay en el muro este. Esta está formada por un sencillo arco de medio punto hecho con nueve dovelas y se encuentra seis metros sobre el nivel del suelo. Sobre la puerta aún se conservan dos cartelas que evidencian la presencia de un matacán para defenderla. También hay una apertura, que por las dimensiones también podría ser una puerta, en el muro oeste.

En el muro sur podemos ver dos aberturas, en la segunda y tercera planta, abiertas en épocas posteriores. El resto de aperturas que tiene la torre son en forma de aspillera.

El piso superior estaba formado por una terraza con almenas. En época moderna se utilizaron estas almenas para hacer unas ventanas y se cubrió la torre con un tejado de dos aguas.