La musique cachée des grands peintres

Publié le 23 Juillet 2009

Voici à nouveau une vidéo exclusive "by J..." "built with Processing" avec Minim pour le son. L'idée est assez proche des expériences musicales d'il y a pas longtemps: on balaie l'image et le code RGB de chaque colonne est interprété comme une partition musicale. La différence avec les vidéos précédentes, c'est que le rouge, le vert et le bleu sont interprétés différemment, et il y a 30 résonnateurs.

Pour les plus pressés, voici tout de suite la vidéo. Pour les curieux, des explications se trouvent un peu plus bas avec une analyse commentée des résultats les plus marquants !


Tout d'abord, avant de divaguer au son de cette "musique" cachée des grands peintres, voici déjà la liste des tableaux. Il était impossible de la mettre en générique à la fin de la vidéo à moins de faire un générique ennuyeux à mourir de plus d'une minute de long... Donc les voici, et pour ceux que cela amuse, les auteurs sont cachés, il suffit de cliquer dessus pour qu'ils apparaissent. Saurez-vous tous les reconnnaître ? Par ordre d'apparition:

"La Joconde" de Léonard de Vinci
"La naissance de Vénus" de Sandro Botticelli
"Le radeau de la Méduse" de Théodore Géricault
"Le déjeuner sur l'herbe" d'Edouard Manet
"Le philosophe" de Rembrandt
"Les Ménines" de Velasquez
"La liberté guidant le peuple" d'Eugène Delacroix
"Le bateau des esclaves" de William Turner
"Le bal du moulin de la galette" d'Auguste Renoir
"Le compotier" de Paul Cézanne
"Les iris" de Vincent Van Gogh
"Les nymphéas" de Claude Monet
"Le cri" d'Edvard Munch
"Guernica" de Pablo Picasso
"Le bassin de Londres" d'André Derain
"La persistence de la mémoire" de Dali
"Golkonda" de René Magritte
"Composition X" de Kandinsky
"Formes circulaires" de Robert Delaunay
"Synthesis: Solfage Fusion" de Yaacov Agam (celui-ci est difficile)
"CHEYT-PYR" de Victor Vasarely

Quelques explications techniques

Pour les plus curieux, adeptes de Processing et d'algorithmes gloutons, voici quelques explications techniques. Comme pour les expérimentations musicales déjà citées, le programme lit chaque image colonne par colonne. Chaque colonne de pixels est séparée en 3 colonnes correspondant au rouge, au vert et au bleu. Chacune de ces 3 colonnes est divisée verticalement en 10 segments de pixels. On a donc 30 segments auxquels sont associés 30 résonnateurs oscillant à 30 fréquences différentes. C'est l'intensité moyenne de la couleur sur un segment qui fixe l'amplitude du résonnateur correspondant. En fait, il y a une astuce à ce niveau-là: l'intensité est seuillée de manière à avoir une amplitude "tout ou rien" sur le résonnateur. Sinon, on a un brouhaha général pas très agréable.

Les résonnateurs correspondant aux tons rouges (oui, mais le thon blanc c'est excellent...) oscillent entre 220 et 523 Hz. Le vert est entre 1100 Hz et 2500 Hz et le bleu entre 2200 Hz et 5200Hz. Il y a un petit chevauchement entre les verts et les bleus, mais c'est un réglage qui passait bien à l'oreille en le testant sur la Joconde. Donc: les tons rouges (oui, mais le thon blanc...) donnent les sons graves, et les tons bleus donnent les notes aigues. Le vert balaie l'intermédiaire. On sent particulièrement bien la différence sur le dernier tableau de la vidéo, celui de Vasarely qui est en rouge et bleu: au début et à la fin le son est aigu à cause du bleu, mais les basses rouges s'entendent au milieu.

Quelques divagations et autres errances symphoniques

A la première écoute, le son est souvent désagréable, d'ailleurs je ne donne pas cher du taux de pénétration de cette vidéo sur internet... Mais quand on regarde attentivement comment le son jaillit de certaines images, on peut parfois se poser des questions sur l'intention du peintre: parfois le son ressort de zones où il voulait attirer l'oeil, aussi étonnant et extrapolatoire que ca puisse paraître. Voici en vrac quelques errances musico-graphiques:

- Dans "le déjeuner sur l'herbe" de Manet, la femme nue au centre, dont on pourrait croire qu'elle est le personnage principal, n'émet aucun son: elle est totalement transparente, plus transparente que la nappe et le panier de fruits du premier plan. Par contre, la "cueilleuse" de l'arrière-plan fait vibrer plein d'oscillateurs: c'est elle en fait qui justifie "la Partie carrée", comme ce tableau fut appelé juste après qu'il ait fait scandale.

- Dans "le philosophe" de Rembrandt, les deux seules zones musicales correspondent exactement aux personnages. Certes ce sont les zones éclairées, mais l'escalier ne fait aucun bruit.

- Dans "les Ménines" de Velasquez, les personnages et le peintre lui-même sont quasiment transparents: ils émettent au mieux quelques bips, le chien aussi d'ailleurs... Le seul objet vraiment résonnant est le dos de la toile à gauche qui fait tout vibrer alors que ce n'est pas la zone la plus lumineuse. Ce tableau n'est pas une scène de vie de la famille royale, c'est un moment dans le travail d'un peintre: la toile est le coeur du problème.

- Dans "le bal du moulin de la galette" de Renoir, tout résonne, c'est un brouhaha à toutes les fréquences. Pour une analyse plus poussée, voir Amélie Poulain...

-Dans "les iris" de Van Gogh, les fleurs ont un son parfaitement discernable des autres puisqu'elles jouent dans les aigus. Les tons jaunes, rouges et verts sont rejetés à l'arrière-plan et les iris explosent comme le muguet au mois de mai.

- Par contre, "les nymphéas" de Monet sont d'un ennui paradoxal: rien ne ressort de ce tableau, c'est peut-être parce qu'il en a fait plein qu'il a perdu l'attraction.

- "Le cri" de Munch est beaucoup plus rigolo: le garde-fou fait monter les aigus juste avant qu'on arrive sur le visage et un son bien particulier est émis juste au moment du visage et uniquement là: un "ta-daaa" bizarrement rouge et vert. Ensuite, la rampe prend le dessus et le poteau rouge à droite met un grand coup sur toutes les notes rouges pour achever cette promenade au bord de mer. Quelque part, ça a le rythme d'un vieux film d'horreur.

- "Guernica" n'a pas grand chose de surprenant puisque le son est imprévisible. L'image étant presque en noir et blanc, on pourrait s'attendre à ce que les tons clairs fassent du son... bah non ! Il y a pire: au milieu du tableau, en haut, il y a comme une tache blanche qui n'a l'air de rien. Et pourtant, ce corps d'oiseau fondu dans le décor est une des surprises de l'image: il fait "blong" en vert quand le corps et la queue de cheval du bas de l'image restent muets.

- "Le bassin de Londres" n'est pas très intéressant non plus, on dirait le moulin de la galette... Mais pourquoi il en parle pas le voisin d'Amélie Poulain ?

- "La persistence de la mémoire" est assez surprenante aussi dans son genre. Toute le monde connait ce tableau (sans connaître son nom d'ailleurs) de Dali avec l'horloge molle. Il est globalement très simple en construction, mais la musique qui en sort est plus complexe. Tout d'abord il y a 5 longs accords très solennels tels les orgues au début d'une messe. Puis alors qu'on a l'impression que la musique va s'éteindre dans la pénombre de la droite du tableau, on entend une petite suite de hautbois moqueur, qui vient faire un pied de nez, là où il ne semble plus rien se passer sur le tableau.

- "Golkonda" de Magritte fait aussi partie des tableaux que tout le monde connait mais dont on ne sait pas le nom. D'un point de vue musical, la structure répétitive du tableau s'entend tout de suite. Il y a un rythme global, assez rapide d'ailleurs, mais surtout, il semble très aigu. Le fait que le son soit très aigu ici vient du fait qu'il a fallu seuiller les amplitudes: le tableau est très clair, donc rouge, vert et bleu sont très présents partout, ce qui engendre un brouhaha musical. En seuillant les amplitudes, il se trouve que c'est le bleu qui a le mieux survécu.

- Si vous avez déjà regardé la vidéo du post précédent "from musical letters to music",  vous ne serez pas surpris d'entendre la musique que fait la "composition X" de Kandinsky: sur un fond sombre, des formes géométriques élémentaires de couleurs vives donnent forcément quelque chose. D'ailleurs, voici le lien vers une vidéo très intéressante, où la musique graphique fait vraiment penser aux tableaux de Kandinsky.

- Encore plus géométriques que Kandinsky, "les formes circulaires" de Delaunay cachent aussi bien leur jeu. La musique semble vraiment construite, il y a des suites, des sauts, des retours, des accélérations, des solos... bref, on regrette que le tableau ne soit pas plus long pour qu'on entende la fin du morceau.

- Ce qu'il y a de merveilleux avec "Synthesis: solfage fusion" de Yaacov Agam, c'est que ce tableau a très probablement été fait avec l'idée de fusionner musique et peinture, d'ailleurs le titre est assez explicite. Malheureusement, on trouve très peu de choses sur lui mais il semble que cette idée de musique et peinture était une chose importante à ses yeux. En tout cas, le tableau est clairement géométrique et il en ressort une musique rythmée, mais pas répétitive. Un rythme net, créé par les bandes blanches est entouré d'un spirale de basses générée par les rouges. Et l'ensemble est régulièrement accentué par des petits bips bleus. On ne s'en lasse pas.

- Et pour finir: Vasarely, qui n'a visiblement jamais cherché la facilité pour le nom de ces oeuvres (ca doit être super dur de faire une thèse sur Vasarely et de se souvenir de tous ces noms bizarres...). Comme on l'a dit plus haut, c'est la structure du tableau qui impose directement la musique. Il est rouge et bleu, donc il y a des basses et des aigus. Les tons ne sont pas uniformes, donc le son est un scintillement. Comme un pixel ne peut pas sonner bleu et rouge en même temps, tout en restant bleu pur ou rouge pur, lorsqu'un ton disparait, l'autre le remplace: il ne peut pas y avoir de silence dans un tableau de Vasarely !

Voila, c'est fini pour cet épisode de musique avec Minim et Processing. Si vous avez eu le courage de tout lire, c'est que vous êtes vraiment très courageux (ou que vous faites une thèse sur Vasarely), et dans ce cas, ce serait gentil de laisser un petit bip en commentaire. Bleu, rouge ou vert, comme vous voulez !

Et vive la culture, sans HADOPI !

Rédigé par J...

Publié dans #logiciels de création

Commenter cet article

pol guezennec 18/08/2009 15:59

Très intéressant et amusant.
On pourrait nuancer : les peintures ne sont pas en pixels à l'origine. Elles sont transformées (et réduites) par une prise de vue (il y a déjà une terrible égalisation, tous les pintres le confirmeront), et probablement encore simplifiées par une compression jpg. l'image traitée a autant à voir avec l'original, qu'un "pire" mp3 par rapport à un concert en live.
Les questions posées par ton expérience sont plus poétiques que scientifiques, ce qui les rend d'autant plus intéressantes à mes yeux.
Mais pour aller un peu au-delà dans un domaine qui me dépasse largement, en imaginant de travailler longtemps et beaucoup à affiner le programme de lecture, et la qualité des documents sources, on débouche sur quoi ? la part d'objectivité augmenterait-elle vraiment...sachant que ce sont les choix du créateur du programme qui conditionnent le résultat donné à entendre...
Dans cette perspective le programme n'est-il pas l'essentiel, et capable alors de s'"exprimer" de manière intéressante autant sur une photo de presse, voire une vilaine publicité, ou sur une webcam, que sur un jpeg de peinture ?
bien cordialement
p.g

emoc 27/07/2009 10:48

Bip! Voila qui donne envie d'en savoir plus sur les travaux de Yaacov Agam. Je serais assez curieux d'entendre Jackson Pollock , Cy Twombly ou Bridget Riley passer dans cette moulinette( http://nadav.harel.org.il/Bridget_Riley/ )