C'est une forteresse constituée seulement d'un très haut donjon cantonné de quatre grandes tours d'angle circulaires coiffées de toits en poivrière. Un chemin de ronde sur mâchicoulis surplombe le corps central ainsi que les tours. Elle a été construite en pierre de lave sur un éperon qui domine la vallée encaissée de la Doire.

L'architecture de cette forteresse est caractéristique de son époque puisqu'on en trouve d'autres exemplaires similaires jusque dans le nord de la France (château de Pernant, château de Vic-sur-Aisne, château de Renescure). Mais ces forteresses, construites en calcaire ou en briques, soumises aux intempéries et aux aléas des guerres et des abandons, ont été aussi fort remaniées depuis le xve siècle. Comme il est constitué d'une pierre dure et n'a jamais subi de siège ou d'attaque ni n'a jamais fait l'objet d'un ordre de démolition, ce château est l'un des rares de son style à avoir conservé intact son aspect extérieur du xve siècle.

Bernard Johanini, d'une riche famille de pelletiers d'Aurillac, acquiert en 1351 des droits sur une terre du fief de Tournemire, appelée L'Armandie ou Larmandie. Il est anobli en 1360 et prend le nom d'Anjony qu'il va laisser au château. Il se marie en 1368 avec Marguerite de Tournemire. Le roi Charles VII autorise Louis Ier d'Anjony à construire un château fort, cantonné de quatre tours et entouré de mâchicoulis, auquel il donne son nom, et qui s'est conservé presque à l'identique jusqu'à nos jours. Ce nouveau château est édifié en contrebas de celui des Tournemire, sans avoir demandé l'autorisation préalable des seigneurs du lieu, ce qui provoque une situation de conflit entre les deux familles qui conduit en 1523 au meurtre de Claude d'Anjony.