Les runes del castell de Pontós són el testimoni silenciós de gairebé deu segles d'història. Les primeres notícies de la vila de Pontós daten de l'any 979, si bé el castell no el trobem documentat fins l'any 1209.  En 1276 Blanca de Creixell va vendre aquest castell i el de Creixell a l'infant Pere. 

Va ser necessari reforçar la seva estructura per Pere II per frenar la invasió francesa de l'any 1285. El castell va continuar com a possessió reial fins que en 1352 el rei el va cedir a Bernat de Pau, el qual se'l va revendre quatre anys més tard a Bernat de Pontós. Novament va ser venut en 1374, passant a ser el seu senyor Francesc de Sagarriga.

Tenia planta rectangular, molt allargassada per tal d'adaptar-se al terreny. Els murs millor conservats corresponen als dels sectors de llevant i de ponent. 

El pany de paret millor conservat té una llargada aproximadament de 10 metres i uns 7 d'alçada. Aquest mur va servir de base per a construccions posteriors, per aquest motiu s'ha conservat, però al mateix temps ha patit nombroses  modificacions com l'obertura de finestres.