El castell de Caldes es construí damunt d’unes antigues termes romanes a mitjan segle XII. Se’n conserven tres torres de planta circular, un tram de muralla, dos edificis molt modificats i, possiblement, l’ermita de Sant Grau. Al llarg del segle XVIII l’espai intern fou dividit en diversos habitatges, i durant la centúria següent s’enderrocaren la majoria d’aquestes divisions per a construir-hi l’antiga planta d’embotellament d’Aigua Imperial. Els edificis del castell van ser el centre de salut de Caldes fins l’any 2009 i actualment acullen un centre de recerca i interpretació del patrimoni municipal. Als afores del nucli urbà hi ha un altre castell que, segons la llegenda que dóna nom al poble, era la residència d’una senyora feudal anomenada popularment “mala vella”.