Le château de Caldes fut construit sur d’anciens thermes romains, au milieu du XIIe siècle. Trois tours circulaires, un pan de muraille, deux bâtiments profondément remaniés et, probablement, l’ermitage de Sant Grau sont encore conservés. Au XVIIIe siècle, l’espace intérieur fut divisé en plusieurs logements et, au siècle suivant, la plupart de ces divisions furent supprimées pour accueillir l’ancienne usine d’embouteillage d’Aigua Imperial. Les bâtiments du château abritèrent le centre de santé de Caldes jusqu’en 2009. Ils accueillent aujourd’hui un centre de recherche et d’interprétation du patrimoine. À la périphérie de la ville se trouve un autre château qui, selon la légende à l’origine du nom de la commune, aurait été la demeure d’une dame féodale surnommée « mala vella » (« méchante vieille »).