El lloc de Vilarig apareix documentat per primera vegada en l'any 978. El castell però no surt documentat fins l'any 1214. L'església parroquial de sant Martí, en canvi, ja apareix documentada en l'any 1151.

El castell és una gran construcció de planta rectangular, on les estances es distribueixen al voltant d'un pati central. En el segle XIV, aprofitant un moment d'esplendor del llinatge dels Vilarig, s'amplia el castell-palau. Posteriorment, en època moderna, es va reformar el palau, especialment la façana principal.

Al costat del castell trobem el temple dedicat a Sant Martí. L'edifici actual correspon a una reconstrucció feta entre els segles XVIII i XIX, moment que s'aprofità per construir també unes capelles laterals i un nou campanar de torre. 

Les restes de l'edifici romànic del segle XII es concentren en la façana oest. En ella es troba la porta d'accés formada per tres arcs de mig punt en gradació, que en volten un timpà i una llinda llisos. 

Malauradament gairebé no s'ha conservat la forja romànica que decorava la porta. Només podem veure un forrellat típic romànic, amb el cap d'un animal en els seus extrems i un tirador.