Los inicios de este antiguo convento carmelita los encontramos en un lugar extramuros, próximo a la iglesia de Sant Llàtzer. Incluso hay algunas fuentes que apuntan que se podrían haber instalado en esta misma iglesia. Hay documentos que hablan de la fundación del convento el año 1206, pero parece poco probable que esta fecha sea real.

Si que está perfectamente documentada la cesión que los señores de Peralada hicieron a la comunidad de unos terrenos en el interior del recinto amurallado en 1293. En este lugar se habían instalado los "frailes del saco", que marcharon en 1274. El traslado de los padres carmelitas no se realizó hasta el año 1346, debido a que el lugar extramuros dónde estaban instalados presentaba un estado de conservación muy deficiente y amenazaba ruina.

A partir de este momento se empieza a construir el nuevo convento, especialmente cuando obtuvieron la casa que había junto a los terrenos que les habían cedido. El primer edificio que se construyó fue la iglesia, que se consagró el año 1400.

Los frailes serán expulsos del monasterio en 1835  debido a la desamortización . El convento quedó abandonado, hasta que en 1854 los condes de Peralada hicieron valer una cláusula del documento de cesión del siglo XIII, en la que se decía que la propiedad del terreno volvería a los condes en caso de que los frailes abandonaran el convento. Alrededor del 1870 se instalan en el castillo y en el convento los últimos miembros de la dinastía de los condes de Peralada. Reforman el castillo al estilo de los palacios franceses, construyen un parque y habilitan una parte del convento como escuela para el pueblo. Unieron las dos fincas con un puente neoclásico.

El templo sigue la estructura y la forma típica de las construcciones hechas por las órdenes mendicantes en esta época en Cataluña. Está formado por una sola nave con cubierta de madera policromada, que se sustenta en grandes arcos apuntados.

A ambos lados de la nave, en el espacio que se crea entre los contrafuertes, encontramos capillas laterales cubiertas con bóvedas de crucería.

El ábside es poligonal y su aspecto actual se debe a la reforma que hicieron los condes de Peralada cuando se hicieron cargo del edificio. En estas obras se retiraron todos los elementos que se habían añadido a lo largo de los siglos, como por ejemplo el falso techo barroco con que estaba cubierta nave y que ocultaba la cubierta de madera.

La puerta de acceso está en el muro oeste. Está formada por arcos apuntados en gradación, que rodean un tímpano dónde aparece la imagen de la Virgen con el Niño, flanqueados por dos ángeles. El conjunto está datado a mediados del siglo XV.

El claustro también fue edificado a caballo de los siglos XIV y XV. Los arcos apuntados son muy sencillos, tal y como corresponde a una orden mendicante.

El convento es utilizado como museo, dónde entre otros se conserva una importante colección de capiteles y sepulcros medievales de procedencia diversa.

Entre las obras expuestas hay algunos elementos del monasterio de Sant Pere de Rodes, como dos capiteles de su portalada. Un ellos es del maestro Cabestany, mientras que el otro es obra de uno de sus discípulos. 

También se conserva una imposta de mármol, que tiene unas inscripciones y que procede de esta portalada. 

En el claustro y dentro la iglesia podemos encontrar una veintena de capiteles procedentes del claustro de Sant Pere de Rodes. 

El altar principal de la iglesia se apoya en cinco bellos capiteles románicos procedentes del antiguo  priorato del Santo Sepulcro.  De este edificio prácticamente no queda nada, sólo algunos fragmentos de la iglesia, integrados en una masía de factura más moderna y utilizados como pajar. El priorato era de los caballeros del orden del Santo Sepulcro de Jerusalén, dónde había una comunidad mixta.  En 1345 el priorato fue vendido a los carmelitas de Peralada si bien ya se encontraba parcialmente derruido. Posteriormente se abandonó el edificio y se trasladó el culto del Santo Sepulcro a un altar del convento del Carmen, hasta que con motivo del exclaustración de 1835 se volvió a trasladar, en este caso a la iglesia parroquial de Sant Martí.

Cuatro de los capiteles están bellamente esculpidos con motivos vegetales y florales y el central está historiado. En todos los casos encontramos los dados del ábaco esculpidos con una flor.