Situé sur la rive gauche du Loing, au coeur de l'ancienne cité médiévale, cet édifice du XIIe siècle est l'un des seuls châteaux de ville en Ile-de-France parvenu jusqu'à nous.

Le donjon flanqué de quatre tourelles d'angles, est relié à une tour carrée de 30 mètres par une étroite galerie. De style gothique, la chapelle intérieure des anciens seigneurs de Nemours est considérée comme un bijou architectural.

Le musée est fondé en 1901 par le sculpteur Justin-Chrysostome Sanson (1833-1910), le peintre Ernest Marché (1864-1932) et l'imprimeur en taille-douce Adolphe Ardail (1835-1911).

Il est riche d'environ 20 000 œuvres constitué d'un fonds remarquable d'arts graphiques (estampes, dessins, photographies), de peintures et de sculptures emblématiques de l'art de la fin du XIXe siècle et du début du XXe siècle.

Lieu d'exploration, de découverte et de culture, le château a repris ses activités de musée depuis 2008 après trois ans de fermeture et plusieurs mois de travaux de rénovation.

Des expositions temporaires rythment la programmation de ce lieu unique. Elles sont accompagnées d'un travail de médiation à destination des différents publics.

La structure s'inscrit aussi dans le cadre des évènements nationaux : Week-end Musées Télérama en mars, Nuits des musées au mois de mai et Journées du Patrimoine le troisième week-end du mois de septembre.