Temps de lecture : 10 mn

Entretien avec Markus Noisternig et Olivier Warusfel, par Jérémie Szpirglas

Initié en 2023, le projet Continuum affiche haut ses ambitions : du son immersif aux réalités augmentée et virtuelle, c’est une nouvelle vision de la production et de la diffusion du spectacle vivant qui prend forme dans les sous-sols de l’Ircam. Aperçu des recherches en cours avec deux de ses principaux acteurs : Markus Noisternig, directeur adjoint du laboratoire STMS de l’Ircam et en pointe sur le sujet, et Olivier Warusfel, responsable de l’équipe Espaces acoustiques et cognitifs.

Olivier Warusfel : Depuis quelques années à présent, nous recevons régulièrement des sollicitations venant du monde de la création autour de la réalité virtuelle – un univers que nous n’avions jusque-là investi qu’assez timidement.

Olivier Warusfel : C’est juste. Le concert amplifié, par exemple, relève déjà de la réalité « augmentée » – sans parler de l’électroacoustique. Mais cela ne concerne que l’audio. Et pour ce faire, des environnements comme Max sont très efficaces. Avec Continuum, on entre dans le multimodal en intégrant des environnements multisensoriels. On change dès lors de paradigme et, surtout, d’environnement informatique. Des solutions informatiques existent pour faire de la réalité augmentée ou de la réalité virtuelle (comme Unity et Unreal), développée notamment par l’industrie du jeu vidéo. Ces environnements informatiques sont déjà dotés de moteurs sons, parfois limités. C’est d’ailleurs l’un des premiers objectifs techniques du projet Continuum : parvenir à intégrer à ces environnements certaines fonctionnalités du Spat, le spatialisateur de l’Ircam, afin que les réalisateurs en informatique musicale retrouvent leurs outils dans le contexte de ces créations multimodales. On pourrait dire que c’est là une première « continuité » (technique) de Continuum : celle des outils classiquement utilisés pour les arts vivants. Photo : Olivier Warusfel et Markus Noisternig devant l'Espace de projection de l'Ircam © Ircam-Centre Pompidou, photo : Déborah Lopatin

Ensuite, d’un point de vue plus scientifique, on bute rapidement sur d’autres enjeux, à commencer par la cohérence entre le visuel et l’auditif : qu’on la veuille absolument parfaite, ou délibérément distordue pour les besoins de la création, il s’agit avant tout d’en avoir la maîtrise.

Olivier Warusfel : Se pose par exemple le problème de la représentation du monde qu’on va gérer. On en a bien sûr un peu l’habitude avec le Spat mais, généralement, c’est de manière purement arbitraire, en réponse à des critères esthétiques, indépendamment de toute préconception quant à la forme de la salle, qui suppose une réverbération, laquelle serait intégrée au spatialisateur. En d’autres termes : on ne « dessine » pas une salle.

Olivier Warusfel : C’est l’un des aspects sur lesquels on travaille dans le cadre de Continuum : rendre les choses moins artisanales en proposant des outils qui permettent d’anticiper les réglages selon les dispositifs et les salles dans lesquelles on se produit, ainsi que de limiter les problèmes de feedback (Larsen, etc.), et donc d’arriver plus vite au résultat voulu. Ce qui suppose de s’intéresser, en amont de la performance, à la représentation de l’environnement acoustique simulé afin d’assurer une plausibilité entre cette dernière et le monde que l’on veut représenter. L’idée est d’asservir le traitement du signal audio à la simulation de l’environnement, ce qui nécessite d’intégrer au Spat d’autres formalismes que ceux dont on dispose pour l’instant.

Réalisation artistique dans le cadre du projet Continuum : spectacle musique et vidéo de Murcof (Fernando Corona) et Simon Geilfus, Twin Color, à l'Espace de projection de l'Ircam le 29 novembre 2023 © Ircam-Centre Pompidou, photo : Philippe Barbosa

Markus Noisternig : C’est surtout la réverbération que l’on simule. Jusqu’ici, la démarche était plutôt de manipuler directement les différents paramètres perceptifs à notre disposition, en calculant numériquement, grâce à des algorithmes, les phénomènes de propagation acoustique dans le lieu représenté.

Olivier Warusfel : Ce type de manipulation sur la réverbération active n’est pas nouveau. La première fois, de manière un peu prophétique dirons-nous, c’était en 1984, à la Carrière de Boulbon à Avignon, pour Répons de Pierre Boulez. La carrière étant en plein air, la réverbération est quasi inexistante. Nous avons donc reproduit l’acoustique d’une salle dans l’espace de la carrière. Seulement, c’était du one-shot : une fois le concert terminé, nous avons tout remballé, et personne n’a cherché à aller plus loin.

Markus Noisternig : Une autre méthode, à laquelle on travaille depuis plusieurs années et que nous allons certainement poursuivre, est de reproduire un environnement acoustique existant pour le manipuler ou pour en extrapoler un autre espace similaire ensuite. Pour cela, on capte l’empreinte acoustique de l’environnement en question – une salle par exemple. Le principe est de mesurer les réponses de l’acoustique à des impulsions sonores en différents endroits de la salle à l’aide d’un réseau sphérique de microphones.

C’est ce que nous avons fait dans l’église San Lorenzo de Venise pour Le Encantadas o le avventure nel mare delle meraviglie (2015) d’Olga Neuwirth : nous avons fait les mesures pour une centaine de positions de haut-parleurs et plusieurs positions du réseau sphériques de microphones. Après ce projet, on s’est demandé si on pouvait modéliser cette réponse impulsionnelle et travailler dessus. Quand on reproduit la réverbération d’une salle, on peut vouloir en garder l’empreinte exacte, ou l’adapter, en l’atténuant un peu par exemple – pour cela, on modifie l’enveloppe de la réverbération. On peut aussi vouloir supprimer certains aspects : les mesures de la réponse impulsionnelle étant multidirectionnelles, on peut par exemple isoler certaines directions et imaginer enlever ou atténuer la réflexion venant du sol (si on imagine que la salle est tapissée de moquette). À cet égard, l’un des axes du projet Continuum est de tenter d’estimer les différents paramètres de la réverbération (et pas uniquement directionnels).

Olivier Warusfel : C’est en effet un autre de nos axes de recherche. Pour une bonne mise en œuvre d’une réverbération active, il faut d’abord être capable d’anticiper ses instabilités, ainsi que l’emplacement des haut-parleurs afin d’assurer la couverture sonore la plus homogène possible de la salle où l’on travaille. Nos recherches visent, ici, à mettre au point des outils et des procédures pour faciliter cette mise en œuvre, élargir la plage de stabilité du système et être en mesure de préparer le terrain en studio pour limiter le temps passé à faire les réglages sur place.

Markus Noisternig : Par exemple, dès la création de Le Encantadas dans la salle des concerts de la Cité de la musique, s’est posée la question de la recréation de la réverbération de San Lorenzo. Si on veut la conserver à 100 %, il faudrait alors supprimer totalement celle de la salle des concerts, ce qui est impossible. L’idéal serait de faire une soustraction : soustraire l’une de l’autre. Ou alors ne rajouter à la réverbération de la salle des concerts que ce qui lui manque par rapport à celle de San Lorenzo.

Olivier Warusfel : Cette question est plus essentielle qu’il n’y parait, parce que cela signifie qu’on ne peut pas mettre en œuvre n’importe quelle acoustique dans n’importe quelle autre acoustique. Dans les faits, on ne peut, dans une acoustique donnée, que reproduire une acoustique plus réverbérante, c’est-à-dire qu’on ne peut qu’accroître le temps de réverbération. On peut par exemple restituer l’acoustique de San Lorenzo en plein air, mais on ne pourrait jamais restituer du plein air dans San Lorenzo.

Markus Noisternig : En théorie, ce serait possible, mais cela exigerait un nombre infini de sources sonores infiniment proches les unes des autres.

Markus Noisternig : C’est en effet un autre domaine de recherche qui entre dans le champ du projet Continuum, sur lequel on prévoit de travailler à l’avenir. J’avoue que, moi-même, je trouve cela perturbant. Un premier début de réponse a été exploré au cours du deuxième concert Janus, en juin dernier, en appliquant l’empreinte acoustique de la Chapelle royale de Versailles à l’Espace de projection à l’Ircam dans son entier. Jusqu’ici, on captait uniquement les sons des instruments avec des micros placés près des musicien·ne·s, et on leur appliquait la réverbération. Seulement, avec ce dispositif, si une personne dans le public tousse par exemple, sa toux restera dans l’acoustique réelle de la salle. En plaçant quelques micros au-dessus du public, on peut appliquer aux sons produits par le public la même réponse acoustique qu’à celui des instruments. L’effet est saisissant – surtout quand on le coupe. Seulement, cette expérience nous a confirmé les grands défis à relever, notamment concernant la suppression du feedback, pour limiter les effets indésirables comme les Larsen. Pour le concert Janus, c’est l’ingénieur du son qui s’en est chargé en grande partie, mais il s’agira à l’avenir d’automatiser cette tâche et de la rendre plus fine. Photo : Répétition du concert Janus à l'Espace de projection, mai 2024 © Centre de Musique Baroque de Versailles, photo : Morgane Vie

Olivier Warusfel : Nous travaillons en effet à compenser cet aspect-là. Cela se rapproche de ce que disait Markus à propos de la manipulation ou l’atténuation d’une empreinte acoustique. C’est un des grands enjeux de l’archéo-acoustique, c’est-à-dire la restitution d’acoustiques qui n’existent plus – voire qui n’ont jamais existé. Imaginons par exemple que l’on veuille reconstituer l’acoustique d’un lieu comme le Colisée, à Rome, à la grande époque de l’Empire Romain, avec tout son public.

La première étape sera d’abord de calibrer nos modèles en allant mesurer l’empreinte acoustique du Colisée tel qu’il nous est parvenu, puis d’y ajouter numériquement les éléments absents pour simuler ses états antérieurs successifs – avec ou sans public. C’est la même démarche pour ajouter du public dans une salle vide.

Olivier Warusfel : C’est en effet une autre dimension abordée dans le cadre de Continuum : assurer la continuité de l’expérience sonore, d’un lieu à l’autre, jusqu’à la consommation domestique du contenu. Le tout, Ircam oblige, en temps réel. Cette nouvelle dimension nous oblige à un changement radical de paradigme car qui dit réalité virtuelle, dit environnement interactif, ce qui signifie que l’on doit pouvoir se déplacer dans une scène sonore, et choisir son point de vue, voire en changer selon les moments. Or, jusqu’à présent, lors d’un enregistrement et d’une diffusion sonore, la localisation de l‘auditeur ou auditrice potentielle était fixe : en gros, c’était là où se trouvait l’ingénieur.e du son. Le flux diffusé était statique
et linéaire. Ce n’est plus le cas avec la réalité virtuelle.

Markus Noisternig : Cela exige donc de revoir l’ensemble du processus, toute la chaîne de production doit s’adapter. L’ingénieur.e du son doit pouvoir recréer une écoute à partir de n’importe quelle trajectoire temporelle dans la scène sonore. Exactement comme un personnage dans une scène de jeu vidéo.

Olivier Warusfel : Pour donner un exemple que connaît bien le public de l’Ircam : la proposition de l’ingénieur.e du son pour plonger le public dans Répons serait classiquement de le mettre à la place du chef, avec l’orchestre devant et les solistes et haut-parleurs tout autour. Seulement, l’idée de Boulez lui-même était que Répons devait pouvoir s’apprécier différemment selon l’endroit précis d’où on l’écoute dans la salle. Il est arrivé par exemple que la pièce soit jouée deux fois, pour que le public puisse changer de place et découvrir un nouveau visage de l’œuvre. C’est exactement ce que l’on veut recréer ici, mais on veut en plus que les auditeurs et auditrices puissent virtuellement changer de place pendant la performance, et non plus seulement à l’entracte, comme lors d’une visite au musée où l’on tourne autour d’une sculpture pour l’apprécier selon différents angles. C’est une espèce d’œuvre ouverte, dans laquelle on peut naviguer à sa guise. L’ambition est donc de mettre au point une technique de captation, d’archivage et de diffusion qui permette de circuler librement au sein d’une scène sonore. On ne peut toutefois pas installer une infinité de micros pour enregistrer le flux sonore sur toute la surface de la salle de concert : il faut être capable de reconstituer le flux sonore tel qu’on pourrait l’entendre d’un point d’écoute précis, à partir des prises réalisées grâce aux micros répartis dans l’espace. Le tout, encore une fois, en temps réel. Nous avons déjà eu une preuve partielle de concept avec le concert de Murcof dans l’Espro l’an dernier : sa performance, avec projection vidéo, a été retransmise en direct, dans les studios 5 et 1. Dans le 1, c’était via le dôme Ambisonic, et dans le 5 au casque en réalité virtuelle. Cela a été une belle démonstration de continuité entre la diffusion en salle et la diffusion déportée individuelle, avec une convergence entre les outils de création pour la musique et la production en réalité virtuelle.

Markus Noisternig : On s’en approchera plus encore avec le spectacle L’Ombre de la chorégraphe Blanca Li et de la compositrice Édith Canat de Chizy, puisque ce sera un spectacle augmenté. Dans l’Espro, le public portera un casque de réalité mixte – permettant à des éléments de réalité virtuelle de se superposer au monde réel sans pour autant le remplacer –, tandis que l’Ambisonic augmentera la réalité audio. Grâce à nos tout derniers algorithmes de réverbération hybride, l’équipe de création sonore pourra créer un langage acoustique et sonore cohérent avec ces visuels. Mais ce spectacle pourra également être « vu », en diffusion individuelle, via un casque de réalité virtuelle auquel s’ajoutera un enregistrement binaural.