El senyor de Vilobí apareix documentat per primera vegada en 1166, el que fa pensar que existia un castell per aquelles dates. La primera notícia del castell la trobem en 1241, quan Guerau V, vescomte de Cabrera, va acceptar la permuta pel castell de Mediona amb Ramon Folc de Cardona. En 1343 Ramon de Malarts va comprar la seva jurisdicció a la corona, per posteriorment tornar-la a vendre en 1345 en aquest cas a la ciutat de Girona. Tampoc va durar masses anys en poder de la capital gironina, ja que en 1368 la va comprar Francesc de Santmartí. En 1374 van ser els homes del poble els encarregats de comprar el castell per cedir-lo al rei. Sis anys més tard, en 1380 l'infant Joan el va tornar a cedir a la família dels Santmartí.

El castell sembla ser de tipus residencial i no pas de caire defensiu, a jutjar pel seu emplaçament en mig d'una plana. Té planta quadrada amb la base dels murs atalussada.

En els angles s'alçava una torre quadrada, elements molt modificats amb el pas dels anys. De fet en el segle XIX es va aprofitar la torre més propera a l'església parroquial per alçar-hi un campanar. Un segle abans ja s'havia mutilat part del castell per ampliar el presbiteri del temple. En aquest cas es va destruir principalment la capella del castell a banda d'altres dependències menors.

En el segle XIX el castell recupera la condició de residència i els propietaris decideixen afegir un nou cos en el sector est, més propi dels contes de fades i que no lliga amb la resta de l'edifici.