El promontori on s'alça la vila vella de Tossa ja estava ocupat en època ibèrica i romana. Posteriorment, en el segle X el compte de Barcelona va cedir-la al monestir de Santa Maria de Ripoll. En 1187 l'abat va concedir una carta de poblament, que també contemplava la construcció d'un castell en l'indret on s'alçava una torre de guaita. Junt amb el castell també es va construir una muralla, que envoltava la població.

La vila va ser atacada i incendiada pels francesos l'any 1285, que enderrocaren gran part de la muralla. Un segle més tard s'hi feren noves obres de fortificació, configurant l'anell de muralles que ha arribat fins als nostres dies. Malauradament el castell va ser enderrocat en 1917 per construir un far, catorze anys abans que el conjunt fos declarat monument nacional.

Com ja hem comentat, les muralles pertanyen bàsicament a la reconstrucció que es va fer en el segle XIV, si bé encara es conserven molts fragments d'època romànica, especialment en la part baixa dels murs, on destaquen les sageteres fetes amb dos o tres blocs de pedra.

La muralla ressegueix la forma del turó pel costat nord-oest, de forma esglaonada amb merlets rectangulars i espitlleres. Set torres reforcen l'estructura. Tenen la base atalussada i planta circular.

Tres d'elles tenen una major alçada i diàmetre i encara conserven les corseres formades per mènsules esglaonades que sostenen petits arcs de mig punt i el matracà.

La torre situada més a l'est, gairebé damunt el mar, rep el nom de Torre d'en Joanàs.

Junt al que va ser el Palau del Batlle, un edifici gòtic on destaca la porta adovellada i la finestra decorada que hi ha al seu damunt,  trobem una altra torre coneguda amb el nom de Torre del Codolar o de l'Homenatge.

L'altra torre completa és la coneguda com a Torre de les Hores o del Rellotge, al costat de l'antic portal d'entrada a la vila.

Aquest portal està format per una doble porta amb arc de mig punt i rastell. Per la part exterior es pot veure un arc adovellat i i un parament totalment diferent a la resta, amb carreus perfectament tallats.

En travessar la porta accedim a una plaça que conserva la seva funció de pati d'entrada, ja que a partir d'aquest punt accedim al nucli de la població, travessant una nova porta, formada per un senzill arc de mig punt adovellat. La plaça també complia les funcions de pati d'armes.

Adossada al mur trobem una escala que permet l'accés al camí de ronda de la muralla.

Les muralles van servir de defensa als habitants de Tossa davant dels atacs dels pirates i corsaris. A partir del segle XVI, quan aquests atacs van anar desapareixent, la població es va anar estenent  per la plana, fora de les muralles.

Dins el recinte emmurallat es troben les runes de l'església gòtica de Sant Vicenç, destruïda per les tropes franceses en el segle XIX.