Créer de la musique avec une caméra ? C’est possible grâce au travail des chercheurs de la Haute école de musique (HEM). En alliant performances techniques et artistiques, ils transforment leurs gestes en sons et en image, entraînant le spectateur dans la magie d’un nouveau monde.

La frontière entre réel et virtuel s’estompe chaque jour un peu plus. Avec Kinect, une technologie qui traduit les mouvements du corps en actions virtuelles, on peut jouer au tennis dans son salon et faire un ace face à un Federer virtuel. Au-delà du divertissement vidéoludique, une équipe de chercheurs a mis en place un dispositif ultra perfectionné pour produire de la musique et de la vidéo uniquement par le geste. En alliant une caméra Kinect et des gants high-tech, le projet de recherche-création GeKiPe, pour « geste, Kinect, percussion », explore le contrôle d’instruments virtuels à partir des gestes spécifiques du percussionniste. Fruit d’une collaboration entre la HEM et l’IRCAM Centre Pompidou de Paris (institut de recherche et coordination acoustique/musique), le projet associe des technologies informatiques de pointe à la composition et l’interprétation musicales.

Dans un espace de 12 mètres carrés, l'interprète devient l’instrument. Ses mouvements sont captés par la caméra et ses gestes digitalisés. L’analyse des déplacements par des algorithmes très développés permet de transcrire les gestes en sons, mais aussi en images, donnant lieu à une véritable performance artistique en 3D. Cette innovation instrumentale ne reste pas confinée dans un labo, des performances publiques sont organisées et une version simplifiée de l’outil sera destinée à l’enseignement.

Crédit photo : Saint E.