Aquesta fortalesa s'alçava damunt d'un turó entre el riu Ter i el Fluvià. Estava situada en la frontera entre els dominis del comtat d'Empúries i el del rei, dins el terme de Torroella de Montgrí, propietat de la Corona des de 1272, quan el va adquirir l'Infant Pere. Això va provocar diverses tensions entre tots dos senyors feudals. De fet el comtat d'Empúries va ser dels darrers en unir-se a la Corona i va ser un dels que més oposició va mostrar-hi. Aquesta fortalesa i la de Montgrí, feta construir per Jaume II, servien per mantenir a ratlla al comte Ponç V d'Empúries, que estava construint el castell de Bellcaire.

Acabades les disputes entre el comtat i la corona a principis del segle XIV, el rei va vendre el castell al comte l'any 1311. La fortalesa d'Albons va restar poc temps sota el control dels comtes d'Empúries, doncs el rei va recuperar-la. El motiu és que el comte estava fortificant el castell i la vila d'Albons i juntament amb el castell de Bellcaire, podia suposar una amenaça per a les possessions de la Corona en aquella zona i va ordenar aturar les obres i que la fortalesa tornés al rei.

En 1322 el rei va donar el castell a Bernat d'Orriols, successor de la família Destorrent, que havia estat la propietària del castell durant el segle XIII. Bernat d'Orriols el va mantenir sota el seu poder fins a finals del segle XIV, doncs en el segle XV era una propietat de Bernat Alemany de Foixà i Porqueres.

El castell està actualment dividit en vivendes privades, després de la reforma realitzada a principis dels anys vuitanta del segle passat. Amb aquesta reforma té més l'aparença d'un gran casal fortificat que no pas la d'un castell.

Té planta rectangular amb un pati interior, al que s'accedeix des d'un gran portal adovellat i limitat pel sud per l'església de Sant Cugat.