Dins la tranquil·la i amagada Vall de Valderredible -val de ripa Hibre, "vall del riu Ebre"- es troba una de les millors esglésies rupestres de la península, excavada en pedra sorrenca. .

El temple ha patit diverses modificacions al llarg dels segles. Inicialment estava format per una única nau. L’antic absis, orientat a l’est i obert a la nau mitjançant un arc de ferradura, allotja actualment la pila baptismal.

En ella encara es bategen els habitants de Valverde, doncs l’església continua oberta al culte i realitzant les tasques de parròquia.

L'antiga capçalera es comunicava, pel costat esquerre, amb el que fou la sagristia i per la dreta amb una cambra sepulcral, a la que s'accedeix també amb un arc de ferradura. Avui, aquesta cambra forma part d’una de les dues naus que té l’església.

En el segle XI es produeix una ampliació del temple, excavant dues naus a la dreta de la primitiva. Cadascuna d'aquestes noves naus tenia un absis a l'est. En el de més al sud, encara es pot apreciar l’emplaçament de l’altar major sota un arc peraltat on hi ha gravada una creu patada.

El temple va ser novament ampliar, construint una gran nau orientada cap al sud. L'antiga triple capçalera avui forma part de les capelles laterals, on es poden observar restes d’encalat d'èpoques molt posteriors i el sepulcre del que fou patge del Duc de l'Infantat, D. Antonio Gómez Navamuel, que fou enterrat a Santa Maria per expressa voluntat seva.

Es pot observar una imatge renaixentista de la Verge de la Bona Llet.

A l'exterior de l’eremitori trobem una necròpolis amb tombes antropomorfes, com era habitual en aquella època.

Sobre la roca, s’alça un campanar romànic de cadireta, amb tres pisos d'alçada. Al primer pis estan emplaçades dues finestres apuntades, on s'allotgen les campanes. En el segon pis s'obren dues finestres d’arc de mig punt, mentre que en el tercer s'obre una sola, més petita i amb arc també de mig punt.

Aquest campanar, fins fa no masses anys encara conservava l'escala de cargol que permetia accedir a les campanes. Malauradament, en l'actualitat només es conserva la seva part inferior.

L'església fou proclamada Be d'interès Cultural al 1985.