La première référence historique au château apparaît dans le testament du vicomte Guerau V de Cabrera, daté de 1242. Il y constituait pour son fils Ramon un petit patrimoine formé par les châteaux d’Anglès et de Brunyola. Le château médiéval subit une destruction systématique, surtout au cours du XVe siècle, d’abord à cause d’une série de tremblements de terre, puis en raison de la guerre des Remences. Il n’en subsiste que quelques vestiges, notamment des murs percés de meurtrières et certains espaces encore visibles dans le tissu urbain actuel, comme la Plaça de la Vila, qui était autrefois la place d’armes du château.