La première référence historique du château apparaît sur le testament du vicomte Guerau V de Cabrera. Elle date de 1 242. Il crée pour son fils Ramon un petit patrimoine formé par les châteaux d’Anglès et de Brunyola. Le château médiéval pâtit une destruction systématique, surtout au cours du XVe siècle, tout d’abord par les tremblements de terre de la série olotine et ensuite à cause des jacqueries. Il n’en reste que quelques vestiges, un mur à meurtrière et quelques espaces fossilisés dans la ville actuelle, sur la Plaça de la Vila par exemple qui était autrefois la place d’armes du château
Recreació digital