Actualment es coneixen amb el nom de Castell dels Moros les ruïnes de l'antiga fortalesa de les Escales o d'Escales. Està situada prop de l'església de Sant Jaume dels Verders.                                                              

Les notícies sobre aquest edifici són molt confuses y haurem d'esperar fins ben entrat el segle XIII per trobar un document on es parli inequívocament d'aquest castell.

L'estat actual de conservació del castell, envoltat de males herbes, fa difícil la seva identificació i la interpretació de les seves restes. Destaca la gran torre circular, situada en la part més elevada del turó. Té una alçada d'uns vuit metres amb uns murs gruixuts, que fan que l'interior sigui molt reduït. Malgrat el seu deteriorament, conserva la volta hemiesfèrica de la planta inferior.

El castell tenia planta trapezoidal al voltant de la torre, per adaptar-se a les irregularitats del terreny. Els murs perimetrals només es poden observar amb certa facilitat en el sector de llevant, on l'alçada arriba als tres metres. En ell es poden veure petites espitlleres. La resta de murs s'han ensorrat parcial o totalment i resulta més difícil poder identificar-los.

Es té constància d'una capella del castell en el segle XIV, de la que no es coneixen més dades ni la seva ubicació. Un estudi de l'edifici i una neteja de les runes permetria un millor coneixement del castell.