Au début du XIIe siècle, Gérard de Commarque fait don de ses biens aux Templiers (on parle alors de l’ « Hospitalis de Comarco » ). Il existe alors une agglomération, un donjon – cette fois en pierre – avec un logis, une chapelle et des maisons-tours : c’est le castrum de Commarque. Le château devint une commanderie qui après la tragique disparition de l’ordre, passe aux Hospitaliers de Saint-Jean de Jérusalem. Ces derniers érigent l’énorme donjon puis vendent la place aux Beynac, qui héritent ainsi du pouvoir de décision sur l’érection des tours.

Au fil du temps, les chevaliers de Commarque éprouvèrent le besoin de renforcer leur position. Cette évolution est d’autant plus impérieuse que des voisins plus ou moins puissants ne tardèrent pas à les rejoindre : des familles nobles s’installèrent légèrement en contrebas comme les Gondrix et les Escars, une autre peu en dehors du castrum, la famille de la Chapelle. Commarque devient alors une coseigneurie. Chaque maison-tour est constituée d’un enclos, d’accès propres et de fossés. Si Commarque est bien une coseigneurie, ses seigneurs ne font pas pour autant preuve de beaucoup de solidarité, témoin les incessants procès qui opposèrent en particulier les Beynac et les Commarque.

Pendant la guerre de Cent Ans, les Beynac restent les défenseurs fidèles de la couronne de France. Les Anglais s'emparent néanmoins du château en 14064 et le conservent pendant quelques années. Le déclin de la famille des Beynac, date de cette époque. Dans les années 1500, il semble que le castrum de Commarque soit déjà déserté par les anciennes familles résidentes. Plus tard, en 1569, le castrum est à nouveau pris pendant les Guerres de religion par les catholiques. C'est sans doute à cette époque que s'est effondrée la salle voûtée.

Guy de Beynac, dernier châtelain de Commarque, y meurt en 1656. Le site est abandonné définitivement au XVIIIe siècle. Un siècle plus tard, le château est en ruine.