Occupant l'extrémité du promontoire de la ville haute, le château baronnial est un ouvrage important. Son périmètre atteint 230 mètres. Sa ruine actuelle résulte de sa vente comme bien national pendant la Révolution, l'acquéreur en ayant fait une carrière de pierres. Les fouilles conduites à partir de 1957 par la Société de Recherches Archéologiques de Chauvigny permettent d'en dresser le plan et de se faire une idée des étapes de sa construction.

A son apogée, au XVe siècle, il comprend :

un donjon quadrangulaire du XIIe siècle, mesurant 22 mètres sur 17, dont les murs, épais de 1,80 à 2,30 mètres, sont renforcés par des contreforts rectangulaires. Les fouilles ont révélé l'existence d'un donjon antérieur plus petit, dont les restes sont ensevelis dans le remblai intérieur de celui du XIIe siècle.

une petite enceinte protège le donjon au nord, percée d'une porte surélevée correspondant à l'entrée primitive du château.