Ullà ja apareix documentat en un precepte de Lluís el Piadòs de l'any 834, on es confirma que era una possessió de la seu de Girona.

Aquest temple era la parròquia del poble i apareix documentat en l'acta de consagració de la segona església de la canònica de Santa Maria d'Ullà en 1182. En aquesta document queden reflexats els drets de la canònica sobre Sant Andreu.  

A finals del segle XVIII s'abandona l'antic cenobi i es construeix un nou temple al bell mig de la població, a pocs metres de Sant Andreu. D'aquesta manera s'evitaven les constants avingudes del riu Ter sobre el monestir, des que a principis del segle XIV es va desviar el seu curs. A partir d'aquest moment el nou temple desenvoluparà les tasques de parroquial.

En 1840 va desaparèixer definitivament la comunitat de Santa Maria, restant el temple com a parròquia del poble. Sant Andreu va quedar sense culte i va passar a ser de propietat municipal. Des d'aleshores ha estat utilitzada com a escola, oficina municipal i en l'actualitat com a seu per esdeveniments culturals.

Resulta difícil deduir que l'edifici situat en la plaça de Sant Andreu era fa uns segles l'església del poble. Ha quedat totalment envoltada per edificacions. El parament exterior només és visible des del carrer pel seu costat de migdia. Una part del mur de tramuntana es pot veure des del pati interior d'una casa. La resta del temple té adossades construccions que l'oculten gairebé per complert.

Ens trobem davant un petit temple d'una sola nau, sense capçalera destacada. Està coberta amb una volta de pedra, que en el sector més occidental és de canó, mentre que cap a llevant és apuntada. Es creu que originàriament el temple si disposava d'un absis, que va ser substituït per l'estructura actual.

En la base del mur de ponent i nord veiem un aparell totalment diferent a la resta del temple. Està fet amb blocs irregulars de pedra calcària i conglomerat del Montgrí, que tendeixen a fer fileres regulars. Aquest parament probablement correspon a una primera església pre-romànica.

En la part alta del mur oest trobem l'única obertura romànica que ha sobreviscut, tot i que en l'actualitat està cegada. Es tracta d'una finestra en forma d'espitllera amb  un sol biaix.

Les obertures practicades en  el mur sud són totes de factura moderna.