L'emplacement sur lequel est bâti le Musée était celui de l'ancien château des Princes de Conti, édifié à la fin du XVIIe siècle à Issy par l'architecte Pierre Bullet. Du château, bombardé et incendié pendant les combats de 1871 puis démoli en 1906, ne sont restés que les dépendances et le pavillon sud de l'entrée, achetés en 1949 par la mairie d'Issy. C'est dans ce dernier que s'est installé en 1981 le premier musée municipal.

Suite à la décision d'édifier sur le
site un nouveau bâtiment pour accueillir
l'exceptionnelle collection de cartes à jouer,
le programme architectural du nouveau musée s'est articulé autour de deux principes : la mise en valeur du "pavillon Conti" destiné à abriter les collections de l'histoire de la Ville et l'élévation à proximité d'un bâtiment moderne consacré à la carte à jouer.