De 1498 à 1510, Charles II de Chaumont d'Amboise, assisté par son oncle, le cardinal Georges d'Amboise, ministre de Louis XII, poursuit la reconstruction dans le style Louis XII déjà marqué par la Renaissance tout en conservant la même allure générale fortifiée.

Le 31 mars 1550, la reine Catherine de Médicis achète à la famille d'Amboise le château pour la somme de cent vingt mille livres.

À la fin de 1559, peu après le décès accidentel d'Henri II, Catherine de Médicis, qui possède le château depuis 1550, l'échange à sa rivale Diane de Poitiers, maîtresse du défunt roi, contre celui de Chenonceau.

À la mort de Charlotte de La Marck, petite-fille de Diane (1594), le château est hérité par son époux, Henri de La Tour d'Auvergne, duc de Bouillon, qui le revend à un fermier général des gabelles nommé Jean Largentier.

Profitant de l'arrestation de Largentier pour fraude et du droit lignager de sa femme Isabelle de Limeuil, le gentilhomme lucquois Scipion Sardini, devenant baron du lieu, puis ses fils, acquièrent le château et le conservent de 1600 à 1667.