El templo de Sant Nazarí de les Olives, situado a unos dos kilómetros al norte de Peralada, está documentado por primera vez el año 1017, en una bula del papa Benedicto VIII. Sabemos que desde mediados del siglo XII era una de las posesiones del monasterio de Sant Pere de Camprodon.

El templo es de tipo rural, formado por una sola nave terminada por el este con un ábside semicircular. La cabecera es la única parte que queda en pie del edificio románico. Fue construida entre los siglos XII y XIII con sillares de grandes dimensiones bien tallados. La parte superior del ábside corresponde a otra fase constructiva, debido a que está realizada con mampostería. En la parte central se abre una ventana de medio punto abocinada.

La nave se reconstruyó totalmente y tiene la particularidad de ser mucho más estrecha que la cabecera.