Els inicis d'aquest antic convent carmelita els trobem en un lloc extramurs proper a l'església de Sant Llàtzer. Fins i tot hi ha algunes fonts que apunten que es podrien haver instal·lat en aquesta mateixa església. Hi ha documents que parlen de la fundació del convent l'any 1206, però sembla poc probable que aquesta data sigui real.

Si que està perfectament documentada la cessió que els senyors de Peralada van fer a la comunitat d'uns terrenys a l'interior del recinte emmurallat en 1293. En aquest indret s'hi havien instal·lat els "frares del sac", que en varen marxar en 1274. El trasllat dels pares carmelites no es va realitzar fins l'any 1346, ja que l'indret extramurs on estaven instal·lats presentava un estat de conservació molt deficient i amenaçava ruïna.

A partir d'aquest moment es comença a construir el nou convent, especialment quan van obtenir la casa que hi havia al costat dels terrenys que els havien cedit. El primer edifici que es va construir va ser l'església, que es va consagrar l'any 1400.

Els frares seran expulsats del monestir en 1835  degut a la desamortització. El convent va quedar abandonat, fins que en 1854 els comtes de Peralada fan valer una clàusula del document de cessió del segle XIII, en la que es deia que la propietat del terreny tornaria als comtes en cas que els frares abandonessin el convent. Pels volts de 1870 s'instal·len en el castell i en el convent els darrers membres de la dinastia dels comtes de Peralada. Reformen el castell a l'estil dels palaus francesos, construeixen un parc i habiliten una part del convent com a escola pel poble. Van unir les dues finques amb un pont neoclàssic.

El temple segueix l'estructura i la forma típica de les construccions fetes per les ordres mendicants en aquesta època a Catalunya. Està format per una sola nau amb coberta de fusta policromada, que es sustenta en grans arcs apuntats.

A banda i banda de la nau, en l'espai que es crea entre els contraforts, trobem capelles laterals cobertes amb voltes de creueria.

L'absis és poligonal i el seu aspecte actual es deu a la reforma que varen fer els comtes de Peralada quan es van fer càrrec de l'edifici. En aquestes obres es van retirar tots els elements que s'havien afegit al llarg dels segles, com per exemple el fals sostre barroc amb que estava coberta nau i que ocultava la coberta de fusta.

La porta d'accés està en el mur oest. Està formada per arcs apuntats en gradació, que envolten un timpà on apareix la imatge de la Verge amb el Nen, flanquejats per dos àngels. El conjunt està datat a mitjans del segle XV.

El claustre també va ser edificat a cavall dels segles XIV i XV. Els arcs apuntats són molt senzills, tal i com correspon a una ordre mendicant.

El convent és utilitzat com a museu, on entre d'altres es conserva una importat col·lecció de capitells i sepulcres medievals de procedència diversa.

Entre les obres exposades hi ha alguns elements del monestir de Sant Pere de Rodes, com dos capitells de la seva portalada. Un ells és del mestre Cabestany, mentre que l'altre és obra d'un dels seus deixebles. 

També es conserva una imposta de marbre, que te unes inscripcions i que procedeix d'aquesta portalada. 

En el claustre i dins l'església podem trobar una vintena de capitells procedents del claustre de Sant Pere de Rodes. 

L'altar principal de l'església es recolza en cinc bells capitells romànics procedents de l'antic  priorat del Sant Sepulcre.  D'aquest edifici pràcticament només en queda res, només alguns fragments de l'església, integrats en un mas de factura més moderna i utilitzats com a paller. El priorat era dels cavallers de l'ordre del Sant Sepulcre de Jerusalem on hi havia una comunitat mixta.  En 1345 el priorat fou venut als carmelites de Peralada, tot i que ja estava parcialment enrunat. Posteriorment es va abandonar l'edifici i es va traslladar el culte del Sant Sepulcre a un altar del convent del Carme, fins que amb motiu de l'exclaustració de 1835 es va tornar a traslladar a l'església parroquial de Sant Martí.

Quatre dels capitells estan bellament esculpits amb motius vegetals i florals i el central està historiat. En tots els casos trobem els daus de l'àbac esculpits amb una flor.