Situé sur le puig d’Argimon, à 450 mètres d’altitude, le sanctuaire actuel date du XVIIIe siècle. Il s’agit d’une structure moderne située sur l’emplacement de l’ancien castell d’Argimon, « Castro Argimonte ». Les vestiges de cet ancien édifice comprennent les restes d’une tour carrée de huit mètres de haut, qui devait comporter trois étages, ainsi que la chapelle romane primitive du XIe siècle.
Le castell d’Argimon est documenté dès 925 et faisait partie du domaine des vicomtes de Cabrera au milieu du XIe siècle. À partir du XIIe siècle, il s’agissait d’un château territorial ayant juridiction sur les paroisses de Riudarenes, Vallcanera, Castanyet, l’Esparra et Sant Pere Cercada.