GEKIPE - GEste KInect et PErcussion

Un film de Aurélien Poidevin sur le projet de recherche mené par Philippe Spiesser, 2016.

« Geste Kinect et Percussion » est un projet de recherche-création qui se propose d’explorer le contrôle d’instruments virtuels à partir de l’analyse des gestes spécifiques aux percussionnistes.

Plusieurs caméras Kinect (habituellement utilisées pour les consoles de jeu) permettent non seulement de reconnaître le geste mais également de le qualifier de manière très fine (vitesse, avant-gestes, etc.). Ces gestes sont alors mis en correspondance avec le logiciel Modalys, développé à l'Ircam. Celui-ci permet de modéliser entièrement des instruments de percussion virtuels que l’on peut jouer en envoyant des ordres pour les frapper, frotter ou même souffler. On peut également en changer la taille, le matériau ou la forme de manière continue.

Le projet étudie en particulier le rapport entre la force physique réelle mise en jeu par le percussionniste et le travail de la qualité du son virtuel en rapport musical avec ce geste, dans l'idée d'une transparence de la technologie au service d'une expressivité musicale originale.

Dans une deuxième phase de la recherche, le système de captation des gestes a été développé grâce à l’ajout d'un nouveau capteur à l'actuelle caméra kinect : les capteurs accéléromètres. L’ajout de la vidéo générative, quant à elle, a permis de relier images et œuvres sonores, créant de nouveaux univers artistiques et scénographiques. Cette « hyper » synchronisation entre le geste instrumental, le son et l’image, permet à l’interprète de contrôler le tout en temps réel.

Cet outil multimédia associant son et vidéo, entend susciter à terme la création d’un nouveau répertoire d’œuvres associant compositeurs, interprètes et designers visuels, véritable plateforme multidisciplinaire qui offrira un potentiel de collaboration entre les différentes disciplines artistiques.