La primera referencia documental que tenemos del castell de Torcafelló data del año 1106, cuando estaba vinculado al linaje de los Cabrera, aunque, gracias a las excavaciones arqueológicas realizadas entre 1999 y 2006, sabemos que su historia se remonta al siglo XI. Durante el siglo XII se llevaron a cabo varias reformas importantes, pero un siglo más tarde el castillo quedó abandonado y fue cayendo en ruinas. En el siglo XV se construyó sobre sus restos la capella de Sant Jordi, una estructura que fue adaptada con fines militares durante la fortificación de la colina en el contexto de la Segona Guerra Carlina, a mediados del siglo XIX, y que se utilizó como torre de una línea de telegrafía óptica militar. El Taller d’Història de Maçanet de la Selva inició su restauración en 1988.