El orígens del castell de Ribes són confusos. Sembla que van existir dues fortificacions diferents als voltants d'aquesta població. Probablement el primer castell estava situat a l'oest del Freser, en el que avui es coneix com Castell de Segura i del que es conserven escassos vestigis.

La primera notícia fiable del castro Petrera data de l'any 903, quan se'l cita en l'acta de consagració de Sant Víctor de Dòrria. D'aquest document es desprèn que hi havia una fortificació al voltant de la vila de Ribes, però no queda clar quina de les dues era. Des de sempre va estar vinculat al comtat de Cerdanya.

No es coneix en quin moment exacte es va construir l'actual fortificació, si bé ha de ser abans de la segona meitat del segle XI, que és quan Bernat de Cerdanya va fer jurament de fidelitat al comte Ramon de Cerdanya pels castells de Grats i de Ribes.

Tampoc es conserva gaire informació de l'etapa en que el castell, com tot el comtat de Cerdanya, va passar a mans del comtat de Barcelona. En 1140 Galceran de Sales jurarà vassallatge a Ramon Berenguer IV pel castell de Ribes i per totes les fortificacions de la Vall. En 1151 era castlà del castell Raimon de Ribes, cap de la nissaga dels Ribes.

La família del Sales van tenir el control del castell fins al 1261 a la mort de Bernat de Sales, es van repartir els seus bens entre diversos membres de la família. Bernat Vidal de Bestracà, que probablement era nebot de Bernat de Sales, va heretar els castells de Bestracà, el de Ribes i el de Pena d'Ogassa.

Jaume I, el Conqueridor, a la seva mort va donar la Vall de Ribes i la Cerdanya al Regne de Mallorca. D'aquesta manera, el castell de Ribes va passar a desenvolupar una important funció estratègica en la frontera entre el Regne de Mallorca i el Principat.  Les rivalitats entre els dos regnes van ser constants i en 1289, Alfons el Franc va conquerir el castell de Ribes, que restà en mans catalanes fins 1297, quan pel Tractat d'Argelers, va ser tornat a la casa reial de Mallorca.

En 1347, en extingir-se el Regne de Mallorca, el castell va ser infeudat per Roger Bernat de Pallars, baró de Mataplana i senyor de la Vall de Toses.  En 1374 Jaume Roger de Pallars va vendre bona part de les seves possessions a Pere Galceran de Pinós, entre les que es trobava aquest castell. El domini dels Pinós a la zona es va perllongar fins que en 1407, Martí l'Humà va incorporar la vall de Ribes a la Corona i va prohibir infeudar-la. Aquesta prohibició no va durar ni setanta anys, doncs en 1473 Joan II la va empenyorar a Damià Descatllar per tres mil florins.  

La fortificació té una planta irregular, però que recorda una estructura semicircular d'uns 25 metres de diàmetre. L'espai interior està dividit en tres espais o terrasses.

L'element més destacat són les restes del parament del sector nord-occidental, conegudes com "la torre". És la part més alta del castell i els murs que es conserven formen angle recte. La seva alçada és de gairebé 18 metres en la seva part més alta.

La seva fàbrica és molt diferent a la resta del recinte fortificat, fet que fa pensar en que probablement era la torre de l'homenatge del castell i que va ser construïda de manera independent a la resta de la fortificació. Actualment serveix de mirador, gràcies a l'estructura metàl·lica construïda en les darreres campanyes arqueològiques.

El seu espai interior estava dividit en tres plantes, separats per terres de fusta. Encara es conserven alguns dels reposadors de les bigues.

En 1983 es va excavar per primera vegada el sector nord-est del castell. Entre els anys 2010 i 2011 es va tornar a actuar en aquest sector, consolidant les seves restes i posant al descobert més elements arquitectònics d'aquest espai. En aquest sector trobem dues estances, comunicades per una escala excavada a la roca i una torre semicircular. El paviment d'aquesta zona es fet a base de pedres allargades.

Durant aquesta mateixa campanya arqueològica es va treballar en una gran sala rectangular situada al centre del castell. Té uns 7 metres de llarg per 2,5 d'ample.  El paviment, fet a base de pedres de riu, sembla correspondre als voltants del segle XV. Probablement correspon a les reformes fetes per Pere Galceran de Pinós a finals del segle XIV.

Però sens dubte la descoberta més interessant d'aquestes excavacions és l'antiga capella, dedicada a Sant Pere i que va donar nom al castell. Es tracta d'una petita sala rectangular, que conserva bona part de la volta, tot i que té un gran esvoranc en la part central.

Presenta un absis semicircular excavat en l'interior del mur i dues fornícules en els murs laterals.

En els nivells més inferiors del castell trobem algunes dependències, el terra de les quals és en molts casos la pròpia roca on s'assenta la fortificació. També en la roca es van excavar unes canalitzacions pel desguàs de l'aigua de pluja.

En el sector sud-oest es conserven les restes més importants de la muralla perimetral del castell.

Esperem que en els propers anys es segueixi invertint en l'excavació arqueològica d'aquesta fortificació i en l'adequació de tot el recinte a les visites.