L’objectif de mon projet de recherche à EUR-ArTeC est de développer le système GesTCom vers la direction d’un outil de suivi multimodal de la partition pianistique en temps réel. Les domaines scientifiques et artistiques impliqués sont la performance musicale, la captation et analyse de mouvement physique, l’interaction humain-machine, la musicologie systématique, les théories sur la cognition incarnée et la composition. L’outil proposé pourrait augmenter l’expérience live de l’interprétation par la visualisation et diffusion des données de la performance au public en temps réel du concert. En même temps, le système GesTCom + pourrait changer le protocole de collaboration entre le.a composit.eur.rice et l’interprète-performeur, en transformant la partition en une plateforme commune, interactive et adaptative au processus de création et même au processus d’apprentissage, sur la base de l’apprentissage machine. Ainsi, le but du projet concerne simultanément les trois domaines de la chaîne musicale: réception, interprétation et composition.  

Cette recherche se base sur mon hypothèse de la navigation incarnée de la notation complexe:  À la place d’un paradigme d’internalisation du texte musical, je propose de traiter la notation musicale interactivement, comme un élément dynamique.  Comme soubassement théorique, je propose un concept fondé sur les théories de la psychologie écologique et de la cognition incarnée. Le principe de base considère que la cognition musicale n’est pas réductible aux seuls processus mentaux, mais qu’elle est distribuée à travers le cerveau, le corps et l’environnement.  La notation musicale est théorisée comme un espace d’états et de potentialités physiques, intitulées «affordances» dans la psychologie écologique. Le pianiste manipule et traite la notation musicale par le mouvement physique, comme si elle faisait partie de l’instrument ou si elle en était une extension. En poursuivant cette métaphore, on peut considérer que le ou la pianiste touche la notation comme on touche l’instrument, et que cette action fait partie de la cognition.

Le système intitulé GesTCom(Gesture Cutting through Textual Complexity) – acronyme en anglais pour « Geste qui traverse la complexité textuelle », intègre des outils pour l’interaction gestuelle avec la partition et pour le codage des notations augmentées et interactives. La méthodologie du système GesTCom repose sur quatre étapes :

l’enregistrement et la reproduction des données multimodales; l’analyse qualitative des données; le traitement de notation hors ligne selon les données multimodales; et le contrôle des performances variables au moyen d’une tablature multimodale et interactive en temps réel.

Biographie 

Pavlos Antoniadis (PhD en musique & musicologie, Université de Strasbourg en codirection avec l’IRCAM, Prix de thèse 2019; MA in piano performance, University of California, San Diego; MA en musicologie, Université d’Athènes) est pianiste, musicologue et technologiste. Il est spécialiste du répertoire contemporain du piano, chercheur de la cognition incarnée dans la musicologie systématique et développeur de systèmes pour l’apprentissage et la performance musicale assistées par l’ordinateur. En tant que pianiste, Pavlos s’est produit en Europe, en Asie et en Amérique avec les ensembles Work in Progress-Berlin, Kammerensemble Neue Musik Berlin, Phorminx, ERGON, Accroche Note et l’Orchestre Nationale de Thessalonique. Il a enregistré pour Mode (2015 Prix de la critique allemande du disque) et Wergo. En tant que chercheur, Pavlos a publié en anglais, allemand et français; il a développé le système GesTCom  avec Frédéric Bevilacqua (Résidence de recherche musicale IRCAM 2014) et il a été invité par plusieurs institutions dans le monde pour des conférences-performances et ateliers. Il est actuellement chercheur post-doc à EUR-ArTeC (Université Paris 8, MUSIDANSE & AIAC) et collaborateur de l’équipe Interaction-Son-Musique-Mouvement  à l’IRCAM; il va continuer ses recherches à TU-Berlin (Audiokommunikation) comme boursier de Humboldt Stiftung (2021 & 2022).

ÉQUIPE DU PROJET

Tuteur de recherche : Makis Solomos (université Paris 8), Jean-François Jégo (université Paris 8)