Considéré comme le premier des châteaux de la Loire, construit sur la butte qui domine le centre de la vieille ville, le Palais Ducal domine, en contrebas, de sa large façade renaissance encadrée de tourelles polygonales, la place de la République, vaste parc. Ce palais fut la résidence des comtes puis des ducs du Nivernais.

Cet édifice fut construit pour Jean de Clamecy, Comte de Nevers, en lieu et place de son ancienne forteresse. Les deux grosses tours postérieures sont les plus anciennes, à savoir du xve siècle, car le château fut remanié au xvie siècle par la famille de Clèves en y adjoignant notamment le splendide escalier d'honneur qui prend place dans la tourelle centrale.

On note une constance de proportions entre la façade ocre et les toitures d'ardoise. Depuis le château, la longue esplanade bordée d'arbres, continue de s'étirer jusqu'aux bords de la Loire qu'elle surplombe, offrant ainsi un joli panorama.

Madame de Cossé-Brissac, héritière du dernier duc de Nevers, vend le château et ses dépendances à la Ville et au Département en 1810. L'édifice est alors partagé entre la mairie et le tribunal de justice jusqu'en 1850, date à laquelle la municipalité s'installe dans le nouvel hôtel de ville édifié par Paillard.