Es creu que el lloc que ocupa l'actual Puebla Vieja de San Vicentre de la Barquera, va ser ocupat antigament pels orgenomescos, una tribu càntabra. Posteriorment va ser un dels ports comercials d'època romana al Cantàbric, probablement el conegut com a Portus Vereasueca. Amb el desmembrament de l'imperi romà, va patir uns anys d'abandonament i no seria fins la primera meitat del segle VIII, que Alfons I d'Astúries va repoblar la zona. En aquest moment es creu que es va construir una primera fortificació a la zona. No va ser fins l'any 1210, quan Alfons VIII de Castella concedeix un fur a la zona, per millorar la defensa d'aquesta zona del litoral, que es comença a construir el castell actual. Aquest va estar sempre sota el control directe de la Corona castellana, fins que en 1453 Joan II va cedir-lo a la vila, deixant-lo en mans del seu Procurador General.

Els segles XIII i XIV van ser moments de puixança econòmica i el castell va desenvolupar un paper molt important en la defensa del port, principal font d'ingressos de la vila. De fet, durant els segles XIV i XV s'ordena fer obres per millorar les condicions defensives de la fortalesa. Però a partir del segle XVI, la població de San Vicente entra en decadència. És en aquest moment que els Reis Catòlics van decidir convertir el castell en presó, per la seva estructura defensiva. 

El castell presenta una planta gairebé rectangular, per adaptar-se al terreny. Fa aproximadament cinquanta metres de llarg per vint d'ample, amb uns murs de més de dos metres d'ample. Tots els murs estan fets amb pedruscall unit amb morter i carreus de to vermellós i ben tallats en els angles, portes i finestres Podem distingir en ell tres parts. En el sector més oriental trobem una torre quadrada, una torre pentagonal en el costat oest i una gran sala entre les dues torres.

S'accedeix a la torre oriental per una porta de mig punt situada en el mur est del primer pis, actualment accessible per una escala de pedra, però originàriament és molt probable que fos de fusta.

Aquesta torre actualment està buida i només ens permet l'accés a la gran sala mitjançant un estret pas, de mig punt.

La gran sala va perdre la seva coberta durant els anys d'abandonament. Actualment presenta una volta de canó, probablement com l'original. En el mur sud veiem tres grans finestres d'una sola esqueixada, situades en la part superior del mur. En canvi, en el costat nord veiem dues finestres amb festejador. El motiu que justifica la diferència entre les dues finestres és que el costat nord no requeria unes defenses gaire importants, doncs el desnivell respecte a la ria el feia pràcticament inexpugnable.

Sortim de la gran sala per un arc apuntat que es condueix a un petit pati d'on surten les escales cap al camí de ronda.

Aquest envolta completament la sala gran.

En el sector occidental s'alça l'altra torre, en aquest cas era la torre de l'homenatge. Té planta pentagonal i accés pel costat est, des del pati interior.

En el primer pis trobem una altra porta de perfil apuntat, que dóna accés al camí de ronda. Al seu costat hi ha una finestra, també apuntada.

Aquests edificis estaven envoltats per un primer anell de muralles.

Un segon anell envoltava també la població de San Vicente, del que es conserven alguns fragments. especialment en el sector nord. Es conserven algunes de les seves portes, algunes d'elles totalment reconstruïdes, com la Porta del Mar, situada als peus del castell.

Al costat de la torre del Preboste, un edifici on vivia el recaptador d'impostos, trobem la porta de la Barrera o de Santander.

L'altra porta la trobem al costat de l'església parroquial de Nuestra Señora de los Ángeles, en la part més alta del turó.  Es coneguda com la porta d'Astúries i està protegida per una bestorre semicircular.

Entre el castell i l'església trobem el que queda de l'antic hospital de la Concepció, aixecat entre els segles XIV i XVI, per assistir als peregrins que feien el camí de sant Jaume. Per aquest motiu, una de les portes de la vila era coneguda com la Porta del Peregrí.