Ja en el 1161 trobem documentada la Villa Romani. No està clar l’origen del topònim, doncs alguns estudiosos defensen l’existència d’un petit poblament, fundat per un tal Romà, mentre que d’altres, basant-se en les nombroses restes romanes a la zona, asseguren que en els seus inicis va ser una vil·la romana.

Sabem que en 1276, el bisbe de Girona, Pere de Castellnou, va comprar el castell als marmessors de Pere Alemany. Dos anys més tard, el bisbe va deixar en el seu testament una campana per a la capella de Vila-romà. En 1310 el bisbe de Girona va adquirir més drets sobre la zona, si bé l’alta jurisdicció sembla que depenia del comte de Barcelona, doncs en un document del 1319, veiem que el sometent de Vila-romà havia d’anar a defensar el port de Palamós, propietat de la Corona, en cas de ser requerit.

Segons un inventari fet en 1320, el castell tenia un vestíbul, tres cambres, una de les quals era utilitzada com a graner, un celler, un rebost, dues cuines i un estable. En aquest mateix inventari es descriuen amb tot detall tots els estris i mobles que podíem trobar en aquestes estances.

En 1812 el castell va ser dinamitat durant l’ocupació francesa. Per aquest motiu, actualment presenta un estat de runa.

La fortalesa s’estructurava al voltant d’una torre mestra, de la que només es conserva el mur de llevant, amb una alçada d’uns 11 metres i una amplada de més d’un metre en la part baixa.

Adossada a la torre, hi havia una estança de planta rectangular i coberta amb una volta de canó, tot i que no es conserva completa.

En el mur de llevant trobem un gran esvoranc, que es corresponia amb la porta d’entrada a la torre, situada a 3 metres d’alçada.

En la part superior encara es conserven les pollegueres on es fixava la porta.

La muralla es conserva en millors condicions en el sector est. En alguns punts arriba a una alçada d’uns 3,5 metres i una amplada de 90 cm.

En aquesta zona també es conserva el traçat de diverses estances adossades a la muralla. Una d’elles conserva un fragment de volta.

Es creu que la porta principal es trobava a l’est, situada en un lloc més endarrerit que la muralla i estava protegida, com a mínim, per una torre de planta quadrada, situada en l’angle sud-est.

Al nord-oest hi ha el pany de paret més alt, que arriba fins als 12 metres. En la part baixa es van obrir diverses espitlleres. En aquest angle hi ha una torre que conserva els merlets.

En els costats nord i oest, encara es conserven els valls que protegien el castell en aquests sectors, que eren més vulnerables.

En l’interior del recinte trobem un mur que va de ponent a llevant. En elsector més oriental hi ha una porta d’arc rebaixat. En el costat nord tornem a trobar les restes d’una volta.