El castell s’articula al voltant d’una torre mestra, possiblement edificada al segle XI, envoltada de muralles espitllerades, passos de ronda, un possible fossat al sector nord i estances probablement bastides als segles XII i XIII, de les quals encara resten parts importants. A la sala situada al nord de la torre mestra es conserven les arrencades d’una volta construïda amb carreus de travertí. Pels volts del segle XII esdevingué el centre del terme castral de Fornils, amb les parròquies de Sant Martí Sacalm i Susqueda. El castell era propietat dels vescomtes de Cardona, al segle XIV passà als comtes de Pallars Sobirà i l’any 1369 Gilabert de Cruïlles i de Mallorca n’adquirí els drets juntament amb el terme del castell de Rupit.