Le domaine des princes de Conti a été constitué au cours des 17e et 18e siècles. C'est en 1681 que Denis Talon, Conseiller du roi et premier avocat général au Parlement, prend l'initiative de construire un château dont les plans sont confiés à l'architecte Pierre Bullet.
À sa mort, François-Louis de Bourbon, prince de Conti, rachète le domaine qui est agrandi et embelli tout en restant dans sa famille jusqu'en 1776. Bombardé et incendié lors des combats de 1871, le château est finalement démoli en 1904-1906.

Dernier survivant architectural des communs de l'ancien château, le pavillon d’entrée accueille une collection d'objets et de photos racontant l'histoire de la Ville. On peut notamment y voir la maquette du château. Il est aujourd'hui relié par une passerelle au Musée Français de la Carte à Jouer, un des sept musées mondiaux dédiés à ce thème.
Inauguré en 1997, celui-ci a obtenu le Prix européen du Musée de l’Année 1999. L’originalité de ses collections, initiées en 1930 par une intéressante donation, enrichie au fil des années, est valorisée par une remarquable muséographie ludique et interactive. Celle-ci permet de suivre un parcours au rythme du temps (du 15e siècle au 20e siècle), des cultures (Occident, Orient), des arts décoratifs, des techniques de fabrication, de l’univers des joueurs, des créations artistiques…