La referència documental més antiga d’aquesta fortificació és de l’any 940. Actualment, se’n conserven vestigis medievals com la base d’una torre circular d’uns 3,5 metres de diàmetre, construïda amb carreuons escairats i morter de calç, diversos murs i una cisterna coberta amb volta de canó i tapada amb una gran pedra.
A principis del segle XX, Josep M. Pericas hi va fer una primera excavació, i el 1972 s’hi van excavar la base de la torre rodona i els fonaments del mur d’accés. Una prospecció posterior va descobrir una punta de sageta, restes de ceràmica medieval i un antic camí estratègic, excavat parcialment a la roca, que permetia accedir-hi.
L’any 2019 la Fundació l’Esquerda hi va fer una intervenció arqueològica que va permetre documentar el traçat complet de la torre circular i d’un mur de tancament ubicat al nord. El 2021 es van consolidar i restaurar les estructures documentades.
El castell, situat sobre un turó, defensava el territori de l’actual terme municipal de l’Esquirol. Fou la primera casa pairal del llinatge feudal dels Cabrera, un dels més influents de la Catalunya medieval. Gausfred de Cabrera, a inicis del segle XI, en fou el primer senyor documentat. El castell formà part del vescomtat de Cabrera fins a l’abolició de les senyories feudals al segle XIX.