Este antiguo cenobio está situado en un lugar ya ocupado en época romana, tal y como lo demuestran los numerosos hallazgos en este lugar. Se han encontrado restos de una importante villa romana, probablemente del siglo II aC. Este emplazamiento fue una importante fábrica de cerámica, como lo demuestran los hornos y los numerosos fragmentos de ánforas localizados en las inmediaciones del cenobio, en el lugar conocido como el Collet. También se localizó el antiguo puerto de Calonge, las casas de los trabajadores y un acueducto. Desafortunadamente, la construcción de la carretera de Sant Feliu a Palamós implicó la destrucción de muchos restos y el expolio consentido de numerosas piezas arqueológicas por parte del constructor de la carretera. La mayoría de estos hallazgos están nuevamente abandonados, a merced de las inclemencias meteorológicas y de la naturaleza. Sólo se conservan dignamente las últimas excavaciones realizadas cerca del cenobio y que corresponden a las dependencias residenciales de la villa.

No se conoce el momento en que se instala en este lugar un monasterio de monjas benedictinas. La primera vez que aparece citado es en un documento del año 1238.

En 1441 el obispo Bernat de Pou denunció el mal estado de conservación del templo y que carecía de ornamentaciones.

En el siglo XIV había un altar dedicado a san Antonio abad, que con el tiempo ganó fieles y terminó convirtiéndose en el titular del templo.

En la primera mitad del siglo XIX se convirtió el cenobio en una casa. Posteriormente en segunda residencia y en la actualidad la gestión depende del ayuntamiento de Calonge. Desgraciadamente, el consistorio no considera prioritario poner en valor este espacio y está cerrado a cal y canto la mayoría de días del año. El patrimonio histórico de Calonge no importa, sólo el turismo de sol y playa.

El conjunto monástico fue totalmente alterado durante los años en que fue destinado a usos agrícolas o de recreo. Sólo se conserva la iglesia y parte del espacio donde estaba el claustro.

La iglesia tiene una sola nave, cubierta con bóvedas de arista modernas. Está rematada al este por un ábside semicircular, cubierto con bóveda almendrada.

En el techo del ábside podemos ver todavía trazas del encañizado.

También son visibles restos de policromía, pero están tan fragmentadas que resulta imposible identificar que representaban y cuando fueron pintadas.

Se accede al templo por una sencilla puerta de medio punto abierta en el muro oeste y ligeramente descentrada.

A su lado, hasta hace no muchos años, había un osario gótico, del que sólo se conservan las ménsulas.

En el lado sur de la iglesia hay un patio, probablemente el espacio que ocupó el claustro, que conserva una galería de arcadas de perfil apuntado rebajado, construidos en algún momento posterior al románico, pero dentro de la época medieval.

También se conserva el acceso al antiguo recinto monacal.