Entièrement détruit lors d'un incendie survenu le 27 avril 1340, il est reconstruit à l'identique par le comte de Genève, Amédée III. Les comptes de châtellenies des années 1340 à 1344 permettent de connaître les différents travaux réalisées à la restauration des bâtiments. Réalisation d'un décor peint par maître Pierre de Lausanne et pose de vitres aux fenêtres de la grande salle et de la chambre du comte par maître Laurent.

En mars 1391 le comte de Genève, Pierre, y reçoit le duc de Bourgogne, Philippe le Hardi, et en août de la même année le comte de Savoie, Amédée VII, accompagné des comtesses Bonne de Bourbon et Bonne de Berry.

Robert de Genève, né au château en 1342, élu pape en Avignon le 20 septembre 1378 sous le nom de Clément VII, succède en 1392 à son frère Pierre comme comte de Genève et entreprend d'importants travaux dans le château d'Annecy qu'il transmet à sa mort, survenu en 1394, à son neveu, Humbert de Thoire-Villars, qui le lègue à son tour à son oncle, Odon de Villars, lequel le cède le 5 août 1401, au comte de Savoie, Amédée VIII.

Amédée VIII le restaure en 1403 ; il s'y installe dès 1405 et y reçoit l'hommage de la noblesse du Genevois. Après un nouvel incendie en 1412, il fait reconstruire le Vieux-Logis et Jean Loisel, un artiste de Genève, est chargé de réaliser les vitraux de la chapelle. Amédée VIII, fait duc héréditaire de l'Empire depuis 1416, y reçoit en 1418 le pape Martin V et les cardinaux qui rentrent du concile de Constance.

En 1440, Amédée VIII érige le Genevois en apanage au profit des cadets de la maison de Savoie. Ils gouverneront à partir du château en portant le titre de comte de Genevois. C'est ainsi que Philippe, fils cadet d'Amédée VIII, qui a reçu l'apanage en fait sa résidence.

Le duc Louis Ier de Savoie en fait de même avec son troisième fils Janus de Savoie. Dans la deuxième moitié du xve siècle, ce dernier fait construire le Logis Perrière accolé à la tour du même nom que son père avait fait construire. Le château accueille, en 1477, la conférence qui rétablit la paix entre la duchesse de Savoie, Yolande de France qui avait pris le parti Bourguignon, et les Suisses à l'issue des guerres de Bourgogne.

Le duc Charles III de Savoie constitue le 15 août 1514 un nouvel apanage dit de Genevois-Nemours au profit de son frère Philippe de Savoie-Nemours ; en 1528, le comte Philippe était devenu duc de Nemours à la suite de son mariage avec Charlotte d'Orléans-Longueville. La princesse fera bâtir le Logis Nemours et refaire le chemin de ronde.

Jacques de Savoie-Nemours, leur fils, est fait en 1564 duc de Genevois par le duc de Savoie, Emmanuel-Philibert. Les princes qui résident au château porteront dès lors le titre de ducs de Genevois-Nemours. En 1566, Jacques épouse Anne d'Este, veuve du duc François de Guise et érige le Logis-Neuf, mais les ducs vivent le plus souvent à la cour de France qu'au château d'Annecy.

Le 5 octobre 1600, lors de la guerre franco-savoyarde, le roi de France Henri IV fait une entrée triomphale à Annecy accompagné d'Henri Ier de Savoie-Nemours, de la cornette blanche et du régiment de Nérestang. Le roi Henri IV, qui passera la nuit au château, est reçu dans la grande salle du château où le duc Henri lui offre une somptueuse réception. Ce dernier souhaite son appui pour faire de son apanage un État souverain. Déçu de l'issue du conflit le duc signe alors un traité secret avec l'Espagne.