Le domaine des princes de Conti a été constitué au cours des XVIIe et XVIIIe siècles. C'est en 1681 que Denis Talon, Conseiller du roi et premier avocat général au Parlement, prend l'initiative de construire un château dont les plans sont confiés à l'architecte Pierre Bullet.
À sa mort, François-Louis de Bourbon, prince de Conti, rachète le domaine qui est agrandi et embelli tout en restant dans sa famille jusqu'en 1776. Bombardé et incendié lors des combats de 1871, le château est finalement démoli en 1904-1906.
Dernier survivant architectural des communs de l'ancien château, le pavillon d’entrée est aujourd'hui relié par une passerelle au Musée Français de la Carte à Jouer, un des sept musées mondiaux dédiés à ce patrimoine et qui vient de fêter ses 10 ans.
Le pavillon accueille une collection d'objets et de photos racontant l'histoire de la Ville. On peut notamment y voir la maquette du château des Princes de Conti.