Actualmente se conoce con el nombre de Castillo de los Moros a las ruinas de la antigua fortaleza de Les Escales. Está situada cerca de la iglesia de Sant Jaume dels Verders.

Las noticias sobre este edificio son muy confusas y tenemos que esperar hasta bien entrado el siglo XIII para encontrar un documento dónde se hable inequívocamente de este castillo.

El estado actual de conservación de la fortaleza, rodeada de maleza hace difícil su identificación y la interpretación de sus restos. Destaca la gran torre circular, situada en la parte más elevada del cerro. Tiene una altura de unos ocho metros con unos muros muy gruesos, que hacen que el interior sea muy reducido. Pese al su deterioro, conserva la bóveda semiesférica de la planta inferior.

El castillo tenía planta trapezoidal alrededor de la torre, para adaptarse a las irregularidades del terreno. Los muros perimetrales sólo se pueden observar con cierta facilidad en el sector de levante, dónde la altura llega a los tres metros. En él se pueden ver pequeñas saeteras. El resto de muros se han hundido parcial o totalmente y resulta más difícil poder identificarlos.

Se tiene constancia de una capilla del castillo en el siglo XIV, de la que no se conocen más datos ni su ubicación. Un estudio del edificio y una limpieza de las ruinas permitiría un mejor conocimiento del castillo.