Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe





télécharger 141.42 Kb.
titreChapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe
page1/3
date de publication11.10.2019
taille141.42 Kb.
typeRapport
d.20-bal.com > loi > Rapport
  1   2   3
Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe
4.1 Introduction

L’apport du son et de l’image fixe et animée a fait progressivement évolué le modèle hypertexte (navigation réticulaire dans un ensemble de grains d’informations) vers celui d’hypermédia introduisant de problématiques nouvelles, en particulier, les questions liées à la sensorialité, aux sémiotiques multimodales et à la gestion de temporalités différentes (celle de la navigation dirigée par l’utilisateur et celles spécifiques de chacun des objets temporels) apparaissent. Le sonore, objet temporel par nature linéaire, se déployant dans l’espace sans représentation visuelle rend difficile sa manipulation directe par l’utilisateur d’un environnement interactif. Agir sur le son instaure dans le cadre des hypermédia, dispositif technique à but essentiellement informationnel ou communicationnel, une dimension instrumentale nouvelle où le geste de l’utilisateur est central. Celui-ci peut se déployer seul, enregistré par le biais de capteurs, de « Joy Stick » ou par le mouvement de la souris, ou dans une interaction avec (une action sur) l’image1 à l’écran (image qui par sa dimension spatiale facilite une action directe sur celle-ci). La question d’une interaction avec le son nous amène alors vers des problématiques plus spécifiquement liées aux relations image/son, qui se structurent, dans une situation interactive, autour du tryptique image/son/geste. Le sens émergera alors des multiples relations entre ces trois pôles.

Nous avons montré, dans un précédent travail2, que l’on pouvait repérer, au travers des différentes pratiques artistiques des siècles passés mettant en œuvre des relations entre l’image et le son, une dynamique de convergence des deux représentations. Cette dynamique qui s’inscrit dans la filiation de la synesthésie évolue historiquement de logiques de correspondances vers des logiques de fusion qui dans le numérique, vont se réaliser dans des structures de langage de plus en plus sophistiquées (langages de descriptions, méta-données…). Cette logique de fusion de l’image et du son dans ces structures de langages laissant entrevoir l’émergence d’un nouvel objet audiovisuel complexe en interaction avec son environnement qui dépasse les notions classiques d’image et de son. Il s’agira ici de comprendre en quoi cette non-linéarité du modèle hypertextuel et hypermédiatique de l’objet sonore, témoigne d’une construction spécifique du sens en amont dans la création par l’analyse d’œuvres mettant en lien des combinatoires plurielles et une expérience communicationnelle nouvelle. Ce chapitre dédié au rôle et à la place du sonore dans des dispositifs interactifs propose de retracer ce cheminement et d’explorer ce champ particulier des relations images/sons en s’appuyant sur plus de dix années de recherches et de pratiques personnelles dans le domaine du design sonore interactif.
4.2 Champ d’études

Les hypermédia présentés dans ce chapitre se trouvent au croisement de plusieurs approches et filiations : ouverture de l’œuvre, représentation du sonore telles que les partitions graphiques, interfaces graphiques de manipulation du son dans le contexte de l’informatique musicale, la sémantique des relations images/sons par les approches du design sonore dans le cinéma, la vidéo, le design sonore interactif et, les rapports entre composition et théorie des jeux, etc.

Nous pouvons distinguons trois grandes classe de relations image/son qui peuvent se côtoyer dans une même application ou bien structurer des classes d’applications spécifiques :

- le son au service de l’image (classe issue, pour le dire rapidement, de la pratique de l'audiovisuel classique et de l’illustration sonore),

- l’image au service du son (issue de la pratique de l'informatique musicale où l’image cherche à représenter du son),

- l’image et le son dans une relation « équilibrée » (situation plus spécifique aux créations hypermédias).

La première classe, l’illustration sonore, est encore aujourd’hui la plus courante même si elle est enrichie par quelques pratiques interactives plus spécifiques au support numérique. La seconde classe concerne des applications qui ont souvent la musique comme contenu (des systèmes d’apprentissage ou de documentation) ou des jeux à fortes composantes sonores (tables de mixage en tout genre etc). La relation est inversée, le sonore est l’élément premier et l’image un moyen de faciliter son accès. Les hypermédias apportent à ces applications une ergonomie et une interface graphique de plus en plus riche. La troisième, enfin, concerne les créations hypermédias. Celles-ci explorent et repoussent les limites techniques et esthétiques du numérique pour tenter de trouver un véritable langage spécifique. Les trois pôles de création, image, son et programmation y sont à égalité et sont travaillés en collaboration étroite dès la phase initiale du projet. Ces trois modes de relations entre les images et les sons peuvent, néanmoins, se côtoyer, de manière plus ou moins étroite, dans une même réalisation hypermédia.

Ces trois classes recouvrent un certain nombre de fonctions et d’applications que l’on peut catégoriser comme suit :

- le son au service de l'image : fond sonore, musique d'accompagnement, illustration sonore et bruitages, « feedback sonore » (essai/erreur), sonorisation de texte (fonction informative), sonification d’interface,

- l'image au service du son : navigation dans des paysages sonores, tables de mixage, jouets sonores3, nouveaux instruments4,

- rapport image/son équilibré : jouets sonores, nouveaux instruments, individuation d'un personnage interactif, correspondances de rythmes et expériences de synesthésies, monde ou être virtuel.
4.3 Ancrages historiques

4.3.1 Ouverture de l’œuvre 

La deuxième partie du vingtième siècle voit apparaître une volonté généralisée de libéralisation des formes artistiques. En littérature, le groupe OULIPO introduit l’utilisation intensive des mathématiques et des jeux sur les combinatoires dans l’acte d’écriture, tandis que des écrivains comme Joyce, Char, Michaux font exploser le récit et repoussent, à leurs extrêmes, les limites du langage. En 1965, Umberto Eco publie "L'œuvre ouverte" où il analyse l'ouverture comme le champ des interprétations possibles d'une œuvre artistique classiquement "fermée" dans son rendu mais aussi comme l'apparition de nouvelles formes d'œuvres où la notion d'ouverture est inscrite dans leur conception même. Il cite entre autre des œuvres musicales de compositeurs comme Stockhausen, Boulez, Pousseur ou Boucourechliev. Ceux-ci, en effet, sont les premiers à la fin des années 50 à proposer différentes approches pour envisager une composition musicale non plus comme une œuvre finie, figée, fixe mais comme un ensemble de possibles offrant à l'interprète un choix de parcours individualisés au moment de l'exécution.

Ce degré de liberté et d'autonomie que donne le compositeur à l'interprète mérite d’être précisé :

Liberté de décision pour un ou plusieurs paramètres sonores (intensité, durée, hauteur) soit totale soit par tirage aléatoire (ou autre) dans un ensemble de possibles prévu par le compositeur ("Sequenza I" de Berio).

Liberté de choix du nombre des parties (voies) indépendantes jouées (John Cage).

Liberté de modifier la forme de l'œuvre : soit en ayant recours à des parcours personnalisés dans l'œuvre soit en modifiant l'ordre même des séquences musicales ("Klavierstuck XI" de Stockhausen, "Troisième sonate" de Pierre Boulez).

Liberté de choix du matériau (John Cage) : application de règles sur des matériaux sonores (ou autres) choisis par les interprètes.


Cette "ouverture" (mobilité) de la musique peut intervenir à différents niveaux et concerner les différents acteurs de l'acte musical :

Elle peut concerner le compositeur (qui se servira, dans ce cas, de cette mobilité pour pouvoir créer à partir d'une "œuvre processus" autant d'"œuvres objets" qu'il le souhaitera). Cette mobilité reste inaccessible à l'interprète qui jouera une des versions finalisées que lui procure le compositeur.

Elle peut concerner l'interprète (grâce à différentes techniques que l'on précisera dans la suite de ce chapitre). Cette mobilité reste cependant opaque à l'auditeur qui écoute à chaque audition une version de l'œuvre "fermée".

Elle peut concerner, en final, l'auditeur qui pourra, via un jeu d'interactions avec l'interprète, par son comportement (déplacement ou autre) modifier le cours de la musique soit au minima être conscient de la marge de liberté de jeu de l'interprète dans la composition (soit par une mise en scène "théâtrale" de cette marge de liberté soit que celle-ci soit délibérément audible dans la musique).


4.3.2 Nouveaux rapports images/sons

4.3.2.1 La musique audiovisuelle ou « colorée »

L’expression « musique audiovisuelle » est avancée dès le début des années 19405 par John Withney6 qui en définit les caractéristiques en travaillant la question de tempo et celle des rapports cinématographiques spécifiques (couples temps/espace et forme/couleur). Néanmoins, la « musique audiovisuelle » ou « colorée » est présente bien plus tôt, dès les années 1920, avec des réalisateurs comme Oskar Fishinger7 ou Len Lye8 et s’inscrit dans la mouvance des interrogations sur la correspondance entre les arts et sur la synesthésie chère à des peintres abstraits comme Kandinsky ou Paul Klee. La volonté de ces réalisateurs est de trouver un langage cinématographique spécifique « libéré » de la narration et des formes issues du roman et du théâtre. Pour cela, ces cinéastes vont s’éloigner de la fonction première de captation du réel du cinéma en choisissant d’utiliser de préférence des formes non figuratives et en recherchant des modèles de construction de l’œuvre du côté de cet art abstrait par excellence qu’est la musique. Avec la durée et le rythme comme dénominateur commun, ces réalisateurs vont chercher à produire des œuvres synesthésiques « totales » jouant sur les relations subtiles entre les différents sens.

description : allures.png

Figure 1 : Jordan Belson (1961), Allures

(http://www.mediafire.com/?fy920bhvu6q6b1v)
4.3.2.2 Les partitions graphiques 

Les principes d’indétermination développés par de nombreux compositeurs dès la fin des années cinquante9 obligent à repenser la partition comme outil de communication musicale. Un genre nouveau apparaît dans un rapprochement des arts sonores et visuels. Les compositeurs élargissent leurs palettes de symboles (couleurs, formes, profondeurs, textures…) pour décrire de nouvelles sonorités et des processus musicaux inédits. Ces nouvelles représentations introduisent des espaces de liberté liés à l’improvisation et mettent en avant des indications musicales globales ou volontairement floues qui sapent l’obsession de contrôle de la musique contemporaine. Le compositeur se charge de la macro structure (tandis que l’interprète se charge du détail de la réalisation), et communique à l’interprète d’autres types d’informations moins précises comme des sensations, des émotions, des mouvements, des dynamiques.

description : cardew - treatise_2

Figure 2 : Cornelius Cardew (1963 - 1967), Treatise
4.3.2.3 Les interfaces graphiques pour la composition musicale 

Dans les années soixante-dix, le compositeur Iannis Xenakis, intéressé lui aussi par les rapports entre la vision et l’audition, propose une interface graphique pour la composition musicale sous le nom de l’UPIC10 11. Le compositeur peut, grâce à une palette graphique, dessiner les formes d’ondes et les enveloppes d’amplitude, et contrôler à la fois la structure du son et la forme globale de l’œuvre. Plus récemment, Golan Levin12, chercheur au MIT13, propose une série d’« instruments »14 qui associent de manière très étroite l'image, le son et le geste. Développeur de palettes graphiques qu'il sonorise en générant en temps réel des sons de synthèse, il associe des paramètres du geste, comme la direction et la vitesse du mouvement ou la pression du crayon électronique, à des paramètres sonores, comme le timbre, la hauteur, le panoramique, et à des paramètres graphiques, comme la couleur, l’épaisseur de trait ou la direction. Chez Golan Levin, les notions d’interactivité et de générativité sont étroitement liées : l'image et le son sont générés en temps réel, à partir du geste de l’utilisateur créant ainsi une « substance audiovisuelle malléable générative et interactive »15. En France, la société Blue Yeti16 propose le système « Grapholine » de dessin musical à doubles écrans basé sur la transformation d’échantillons sonores (via une banque de sons standards mais aussi personnalisables) par la synthèse granulaire et offrant une large gamme de manipulations et de relations image/son (vitesse du tracé, transparence, luminosité, couleur, pression du crayon…). À l’UTC de Compiègne, deux étudiants17 en dernière année de cursus informatique, proposent une application de réalité virtuelle (Immersive Music Painter, 2 01018) où l’interactant dessine dans l’espace, par son geste, des courbes de différentes couleurs et d’épaisseurs auxquelles est associé un son ou une mélodie dont la hauteur, le panoramique et le volume sont contrôlables.
4.3.3 Théorie des jeux et composition musicale 

Si on trouve une influence de la théorie des jeux dans la composition chez de nombreux compositeurs (Mozart19…), celle-ci est devenu plus présente au fur et à mesure que l’industrie des jeux vidéo a pris son envol et trouve son marché dans une série d’audio-games accessible sur I-phone et tablette à très bas prix. Le terme de « jouabilité »20 est utilisé pour décrire l’ensemble des éléments de l’expérience vidéo-ludique : à la fois règles, interface et maniabilité du jeu ainsi que leurs appropriations par le joueur (le plaisir retiré et sa facilité d’appropriation). Si l’on définit le terme de jouabilité comme le caractère de ce qui est jouable, de ce qui peut être joué, alors on peut trouver une correspondance musicale dans la notion de musicalité, de ce qui est « bien écrit » pour un instrument donné et qui « sonne » bien. On pourra alors parler de la « jouabilité » d’une pièce pour piano en référence au plaisir du pianiste à jouer cette partition et à son aptitude à investir son interprétation. Concernant la dimension de la prise en main des règles du jeu, un compositeur comme John Cage a remarquablement déplacé les affectations de ces rôles et permis un rapprochement significatif vers la dimension ludique. En effet, dès la fin des années cinquante, il enrichit sa recherche sur le hasard et l’indétermination en transformant la partition en un espace de jeu mettant en œuvre des règles que l'interprète doit incorporer et surtout faire vivre. La partition passe ainsi du statut de notation de paramètres musicaux à celui de notations d'actions. Pour exemple, dans « Variations I » (1958), « Variations II » (1961) ou « Cartridge Music » (1960) : les notes sont inscrites en valeurs relatives (grosseur de points se référant à l'intensité et à la durée) sur des feuilles transparentes que l'interprète superpose à d’autres feuilles elles aussi transparentes contenant des règles de jeux (des formes géométriques, un cadran d’horloge…). Cette superposition de feuilles contenant des informations de niveaux différents (notes et règles) produit la partition à interpréter. Nous le voyons ici, l’interprète doit, avant de jouer la moindre note, agencer un dispositif pour produire les informations musicales à jouer, un « travail » classiquement alloué au compositeur lui-même. Cette nouvelle définition du rôle de l’instrumentiste permet de retrouver les dimensions des deux termes anglais qui décrivent le jeu : « game » et « play ». Le terme « game » soulignant la notion de structure (système de règles que le joueur s’impose de respecter pour mener à bien son action), tandis que le terme « play » soulignerait l’attitude ludique adopté par le joueur (« l’action menée par celui qui joue ») (Genvo, 2002). En modifiant le rôle de l’interprète, John Cage augmente considérablement l’espace de liberté et de créativité de celui-ci, deux dimensions à la base de l’attitude ludique.

cartridge_music

Figure 3 : John Cage (1 960), Cartridge Music
Ce rapprochement de la composition et de la théorie des jeux se retrouve de manière encore plus explicite chez le compositeur dans sa célèbre pièce/performance « Reunion » (1 968) qui le met en scène avec Marcel Duchamp dans une partie d’échecs où chaque mouvement de pièce dirige de manière plus ou moins aléatoire des événements musicaux.

duchamp_cage.jpg

Figure 4 : John Cage (1 968), Reunion

(avec Marcel Duchamp à Toronto)
Nous retrouvons la théorie du jeu chez d’autres compositeurs comme Iannis Xenakis « Duel » (1959), « Stratégie » (1962) et « Linaia Agon » (1972), Mauricio Kagel (« Match » (1964) inspiré d’un match de tennis) ou John Zorn « Cobra » (1984).
  1   2   3

similaire:

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconThème : Représentation visuelle – Chapitre 2
«normal» : on parle d’œil emmétrope. Que l’objet vu soit loin ou proche, où se forme son image ?

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe icon1. Nul enfant ne fera l’objet d’immixtions arbitraires ou illégales...

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconRéglementation applicable à l’affichage publicitaire
«toute inscription, forme ou image, destinée à informer le public ou à attirer son attention, les dispositifs dont le principal objet...

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconPlaisance, la ville aux 2 bastides
«avortée» a néanmoins fixé définitivement le site de la bourgade sur la rive concave d’un méandre de l’Arros. Son parcellaire est...

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconDéséquilibre entre les produits devenus indispensables sociologiquement
«destinées à assurer la protection du consommateur» : le droit de la C° se définirait alors par son but et non par son objet

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconModele / mettre en place l’entretien de retour apres absence dans son etablissement
«bleu turquoise» représente la possibilité pour l’établissement, d’adapter le texte en fonction de son statut (public/privé) et de...

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconQuand tu produis un texte, une image, un son

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconPourquoi le mouvement d'un objet est-il modifié ? Pourquoi un objet se déforme-t-il ?
...

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconConcours de plaidoirie
«Face time» qui permet de parler à son interlocuteur par voie de vidéo; pour ce faire, IL a donc tenu son téléphone face à son visage...

Chapitre 4 : Dé-linéariser le son dans son rapport à l’image : émergence d’un nouvel objet audiovisuel complexe iconObjet : délibération d’affirmation du soutien de la commune au Conseil...






Tous droits réservés. Copyright © 2016
contacts
d.20-bal.com