La vila de Castelló es va construir en na zona elevada formada per cinc turons. El més alt és el puig Salner, on s'alça l'església de Santa Maria.

Del primer recinte fortificat no en queda cap vestigi. Es creu que el seu traçat més oriental coincidia amb el fragment conservat de la muralla baix medieval que hi ha al darrera de la basílica de Santa Maria. 

La segona muralla de la vila tenia un total de set portals. dels que només s'ha conservat un: el de la Gallarda.

El portal s'obre en una torre de planta rectangular. Està format per dos arcs de mig punt adovellats, entre els quals hi ha un espai, on hi havia el rastell.

Aquests fragments de muralla, que tenen una alçada d'entre sis i set metres, van ser construïts entre els segles XIII i XIV.