El poble de Celrà apareix citat amb el topònim de Celeranus en un document de l'any 922. Durant ell segle XI aquest indret serà conegut com a Celranus, Celrano i Cilrano, fins que ja en el segle XII trobem el topònim de Celrà. En 1199 Ponç de Celrà va retre homenatge al rei Alfons. 

L'edifici actual ha estat modificat i reconstruït recentment. Es tracta d'una casa forta, de planta quadrada, que es va anar construint al voltant d'una torre circular. Els elements més antics que s'han trobat daten del segle X i es corresponen a algunes restes dels murs perimetrals, refets en diverses ocasions al llarg dels segles.

La torre tenia una alçada superior als 7,5 metres. En les darreres obres de restauració s'ha reconstruït totalment el darrer tram de la torre, dotant-la de l'alçada que devia tenir originalment. La porta d'accés es troba a uns sis metres sobre el nivell del terra. Està formada per un arc de mig punt adovellat.

Entre els murs perimetrals i la torre s'organitzen totes les dependències del castell, entre elles un petit pati interior. La porta principal es troba en la façana nord. És d'estil gòtic, malgrat les modificacions posteriors. També es conserva d'aquesta època un finestral.

Durant molts segles el castell ha estat utilitzat com a casa de pagès, però a finals del segle XX fou restaurat pel seu propietari, moment en que es van obrir noves finestres, per utilitzar-lo com a vivenda.