Aquest antic cenobi està situat en un punt ja ocupat en època romana, tal i com ho demostren les nombroses troballes en aquest indret. S'han trobat restes d'una important vil·la romana, probablement del segle II aC. Aquest emplaçament va ser una important fàbrica de ceràmica, com ho demostren els forns i els nombrosos fragments d'àmfores localitzats en els voltants del cenobi, en el lloc conegut com el Collet. També es va localitzar l'antic port de Calonge, les cases dels treballadors i un aqüeducte. Malauradament, la construcció de la carretera de Sant Feliu a Palamós va implicar la destrucció de moltes restes i l'espoli consentit de nombroses peces arqueològiques per part del constructor de la carretera. La majoria d'aquestes troballes estan novament abandonades, a mercè de les inclemències meteorològiques i de la natura. Només es conserven dignament les darreres excavacions realitzades prop del cenobi i que corresponen a les dependències residencials de la vil·la.

No es coneix el moment en que s'instal·la en aquest indret un monestir de monges benedictines. La primera vegada que apareix citat és en un document de l'any 1238.

En 1441 el bisbe Bernat de Pou va denunciar el mal estat de conservació del temple i que estava mancat d'ornamentacions.

En el segle XIV hi havia un altar dedicat a sant Antoni abat, que amb el temps guanyà fidels i va acabar convertint-se en el titular del temple.

A la primera meitat del segle XIX es va convertir el cenobi en un mas. Posteriorment en segona residència i en l'actualitat la gestió depèn de l'ajuntament de Calonge. Malauradament, el consistori no considera prioritari posar en valor aquest espai i està tancat amb pany i forrellat la majoria de dies de l'any.  El patrimoni històric de Calonge no importa, només el turisme de sol i platja.

El conjunt monàstic va ser totalment alterat durant els anys en que va ser destinat a usos agrícoles o d'esbarjo. Només es conserva l'església i part de l'espai on estava el claustre.

L'església té una sola nau, coberta amb voltes d'aresta modernes. Està capçada a l'est per un absis semicircular, cobert amb volta ametllada.

En el sostre de l'absis podem veure encara traces de l'encanyissat.

També són visibles restes de policromia, però estan tan fragmentades que resulta impossible identificar que representaven i quan van ser pintades.

S'accedeix al temple per una senzilla porta de mig punt oberta en el mur oest i lleugerament descentrada.

Al seu costat, fins fa no masses anys, hi havia un ossari gòtic, del que només es conserven les mènsules.

Al costat sud de l'església hi ha un pati, probablement l'espai que va ocupar el claustre, que conserva una galeria d'arcades de perfil apuntat rebaixat, construïts en algun moment posterior al romànic, però dins l'època medieval.

També es conserva l'accés a l'antic recinte monacal.