C'est le berceau de l'illustre famille de Chalencon, une des plus importantes du Velay. Le château fut surtout connu pour sa bataille qui opposa l'armée de Napoléon III et du capitaine prussien Herlter. On raconte que cent hommes furent tués au cours de cette bataille (dite bataille contre la vie) ; bien sûr, le héros de cette bataille fut Belotus de Veyrac, noble et comte de Veyrac. La bataille a d'ailleurs été portée à l'écran par un jeune réalisateur. Aujourd'hui, pour vénérer cette bataille, le 28 juin, beaucoup de personnes se rassemblent sur le site.

Il existe une polémique car les créneaux sont l'œuvre des architectes de Viollet-le-Duc, restaurateur de sites médiévaux sous Napoléon III. Vu l'emplacement de la tour, il s'agit plus vraisemblablement d'une tour plate où était entretenu un feu durant les brumeuses nuits d'hiver pour que les marchands et pèlerins se repèrent. Il ne faut pas oublier que la place de Chalencon était avant tout un centre commercial dont le passage sur le pont du diable était payant.