El castro de Petra Taliata aparece documentado por primera vez el año 1065, si bien es muy probable que ya existiera mucho tiempo antes. Durante los siglos XI y XII la familia de los Peratallada fue ganando importancia.

En 1266 Guillema de Peratallada se casó con Gilabert de Cruïlles, uniendo de este modo las dos casas. Pese a disponer de un gran patrimonio en tierras ampurdanesas, el siglo XIII no fue un siglo demasiado bono para muchas familias catalanas, y esta no fue una excepción y pasó alguna que otra situación económica complicada.

El siglo XIV, en cambio, es un periodo de prosperidad por el castillo, dónde incluso se aloja el rey Joan I en 1390.

Del castillo todavía se conservan varios elementos muy significativos. Destaca el núcleo central, formado por la torre maestra, rodeada por un primer recinto de murallas. Está situado en un lugar elevado, construido sobre la roca. Para incrementar el desnivel respecto al nivel del suelo se talló la roca, verticalmente, como si se tratara de una pared.

La torre tiene una planta rectangular y coronada con almenas.

A una altura de unos siete metros encontramos la puerta de acceso. Tiene una anchura aproximada de un metro y está formada por un arco de medio punto dovelado. Esta puerta se abre en el primer piso de la torre, bajo la que encontramos un piso inferior al que se accedía únicamente desde el interior. La separación entre los dos pisos se hacía mediante un suelo de madera, que se apoyaba en dos arcos rebajados.

La torre está rodeada por una muralla, que se adapta a la peña rocosa. La entrada a este recinto se realizaba por el lado de mediodía. Sobre la puerta de medio punto, encontramos una ventana.  Las diferentes técnicas constructivas que podemos encontrar en estos muros, nos hacen pensar que han sido reconstruidas en varias ocasiones. El sector de levante es el que mejor se ha conservado, manteniendo la altura original y las almenas con que estaban coronados los muros.

De las construcciones que había en este recinto sólo se ha conservado una gran estancia, identificada como la sala mayor gracias a un inventario del 1395. Cuatro arcos apuntados sirven de apoyo al techo de madera. El acceso a la sala se hace por el lado norte, a través de una puerta con un arco de medio punto dovelado. 

A partir del siglo XIII se empieza a construir el palacio gótico, situado hacia el sudeste  del castillo. Está formado por diversas construcciones de diferentes épocas, que rodean un patio central.

La fachada principal se encuentra en el muro de levante.

En las obras de restauración realizadas durante la segunda mitad del siglo XX se repararon y volver a abrir algunas de las ventanas, cegadas a lo largo de los siglos. Destacan las ventanas góticas del piso superior y la ventana geminada románica que se conserva en el lado derecho de la puerta.

Ventanas de similares características, si bien algunas han perdido la columna, las encontramos en el edificio situado más al sur del patio de armas.