En octobre 1991, Sophie Calle fut invitée à participer à une exposition au Musée d'art moderne de New York. Et comme cinq tableaux de Magritte, Modigliani, De Chirico, Seurat et Hopper étaient alors temporairement retirés, Sophie Calle a décidé de remplacer ces tableaux manquants par ces souvenirs racontés dans ce livre.