El lloc de Pontós apareix esmentat en un document de l'any 979. Malgrat que les referències al castell de la població són molt nombroses, el temple de Sant Martí no apareix documentat fins l'any 1279.

L'església actual es va construir en el segle XVIII, aprofitant algun element del temple romànic anterior. Aquests fragments de l'època romànica es concentren en el sector sud-oest.  La fàbrica està formada a base de còdols i petits carreus poc devastats i lligats amb abundant argamassa en el nivell inferior i amb carreus ben tallats i escairats en la resta del mur.

En el mur oest, a la dreta de la porta actual, podem veure les restes d'una altra porta, amb llinda i al seu damunt un ull de bou, tots dos elements cegats.

Al costat esquerre de la façana es conserva la làpida sepulcral de Bernat de Pontós (13 de febrer del 1302).