Las ruinas del castillo de Pontós son el testigo silencioso de casi diez siglos de historia. Las primeras noticias de la villa de Pontós datan del año 979, si bien el castillo no lo encontramos documentado hasta el año 1209. En 1276 Blanca de Creixell vendió este castillo y el de Creixell al infante Pere. 

Fue necesario reforzar su estructura por Pere II para frenar la invasión francesa del año 1285 . El castillo continuó como posesión real hasta que en 1352 el rey lo cedió a Bernat de Pau, el cual se lo revendió cuatro años más tarde a Bernat de Pontós. Nuevamente fue vendido en 1374, pasando a ser su señor Francesc de Sagarriga.

Tenía planta rectangular, muy alargada para adaptarse al terreno. Los muros mejor conservados corresponden a los de los sectores de levante y de poniente. 

El tramo de pared mejor conservado tiene una longitud aproximada de 10 metros y unos 7 de altura. Este muro sirvió de base para construcciones posteriores, por este motivo se ha conservado, pero al mismo tiempo ha sufrido numerosas  modificaciones como la apertura de ventanas.