El temple de Sant Nazarí de les Olives, situat a uns dos quilòmetres al nord de Peralada, està documentat per primera vegada l'any 1017 en una butlla del papa Benet VIII. Sabem que des de meitats del segle XII era una de les possessions del monestir de Sant Pere de Camprodon.

El temple és de tipus rural, format per una sola nau capçada a l'est amb un absis semicircular. La capçalera és la única part que queda en peus de l'edifici romànic. Va ser construïda entre els segles XII i XIII amb carreus de grans dimensions ben tallats. La part superior de l'absis correspon a una altra fase constructiva, ja que està feta amb pedruscall i argamassa. En la part central s'obre una finestra de mig punt i de doble esqueixada.

La nau es va reconstruir totalment i té la particularitat de ser molt més estreta que la capçalera.