L E   S I T E

E S P A C E S

T E C H N I Q U E S

O U T I L S

ΠU V R E S

A N N E X E S

Equipement

Multipistes

Modulaires

Instruments

Plugins

Autres

 Le Plan

Recherche

 Les microphones les instruments

 Les supports d'enregistrement les instruments

 L'écoute de studio les instruments

 Les logiciels les instruments

 Interfaces audio les instruments

 Contrôleurs gestuels les instruments

 Matériel spécialisé les instruments

 

 

 

 

L E S   O U T I L S

Equipement

les instruments Les contrôleurs gestuels

Périphériques standards | Alternatifs | MIDI | Spécialisés | Capteurs | Vidéo

Compte tenu de la finesse et de la fragilité de la perception auditive spatiale, il est primordial (selon mon expérience) de pouvoir contrôler les critères d'espace en temps réel, dans des actions qui associent le geste et l'écoute.

Le contrôle du site de sources ponctuelles (masse-canal égale à 1 ou 2) dans les espaces à une ou deux dimensions des modules "surround" intégrés aux logiciels multipistes se fait généralement à la souris, ce qui est relativement approprié.
Par contre, pour le contrôle complet des masses spatiales (aire, densité, ...) la modification de masses multiphoniques, les traitements multicanaux et bien sûr pour les dispositifs de projection s'étendant dans les trois dimensions, l'accés gestuel peut devenir problématique car il est nécessaire de pouvoir moduler de nombreux paramètres simultanément.

 Contrôleurs 2D
 standards

 


 

Par définition, la souris de nos ordinateurs, ou les pavés tactiles, ne proposent qu'un contrôle bidimensionnel, et, sauf cas particulier () on ne peut en utiliser qu'un seul à la fois. Ceci la rend tout à fait adaptée au contrôle 2D des modules "surround" intégrés aux logiciels multipistes ou au plugins apparentés.
Un problème se pose néanmoins avec les dispositifs de projection qui s'étendent dans les trois dimensions ou lorsque l'on souhaite contrôler plus finement la masse spatiale ou les deux canaux d'un fichiers stéréo. La solution proposée pour ce dernier cas par certains éditeurs avec les modes de symétrie stéréo ne fait que repousser le problème. Il existe bien un petit plugin qui permet d'utiliser simultanément la roulette des souris pour obtenir un troisième contrôleur (), mais son utilisation allourdit beaucoup un procédé dont le principal intérêt est la simplicité.
 
Cela dit, contrôle bidimensionnel ne veut pas dire forcément deux paramètres : il suffit que la position horizontale et verticale de la souris soit relayée par des processus d'interpolation de contrôleurs (à la manière de l'ancien Syter du GRM).
De nombreux AcousModules de contrôle des masses spatiales ou de traitement sont basés sur de telles interfaces, mais c'est la Metasurface intégrée au logiciel modulaire Audiomulch qui représente à la fois l'application la plus simple à utiliser et la plus puissante pour contrôler les paramètres de ses modules ou de plugins VST.

 

 

 Contrôleurs
 alternatifs

 



D'autres périphériques informatiques peuvent être très utiles en tant que contrôleur gestuels, même s'ils ne sont pas destinés au contrôle du son.
Un joystick 3D ou une tablette graphique sensible à la pression offrent par exemple d'emblée un accès aux trois dimensions spatiales (X, Y, Z). De plus, en associant plusieurs contrôles dans un même geste ils permettent de retrouver une gestuelle plus fluide, plus "naturelle".
Un simple gamepad avec ses deux mini joysticks sera même plus intéressant que les gros joysticks de jeu.

Quelques logiciels modulaires comme Bidule ou Max/Msp sont capables d'exploiter pratiquement n'importe quel périphérique HID, et un certain nombre d'AcousModules répondent directement aux joysticks et gamepads standards (Windows).

En ce qui concerne les tablettes graphiques, même si certains logiciels comme Bidule ou Max/Msp peuvent offrir un support direct, il est plus efficace de passer par un logiciel de conversion MIDI comme MIDITab de Russel Borogove (freeware) ou surtout Tablet2MIDI de LiveLab qui permet de réaliser d'extraordinaires interfaces de contrôle graphiques. Couplé avec une tablette Wacom Intuos il est possible de contrôler jusqu'à six paramètres (X, Y, pression, inclinaison, orientation et rotation du stylet).
Pour Mac OS il y a µMIDI Controller.

L'association d'un TabletPC avec la Metasurface du logiciel modulaire AudioMulch peut constituer une solution extrêmement intéressante et autonome car la définition des zones et leur jeu peut se faire directement sur l'écran. Dans la version actuelle d'Audiomulch il n'est pas possible d'émettre des messages MIDI, mais il existe un AcousModule qui permet de contourner cette limite ;-). Il ne reste plus qu'à relier ce petit ordi à la machine de travail en WiFi grâce à un utilitaire comme MIDIOverLan (Win ET Mac) ou le freeware MidiViaNet...
D'autre part, l'accélération probable du développement des interfaces dites "multitouch" autonomes ou intégrées à des ordinateurs portables va certainement bouleverser nos manières de travailler dans les années à venir (regardez la démo vidéo : http://mrl.nyu.edu/~jhan/ftirtouch/).

 

 Contrôleurs
 standards

 


Ceci inclue les "surfaces de contrôle" et autres pupitres de potentiomètres tellement à la mode aujourd'hui, ainsi que pédales, contrôleurs de souffle (Yamaha) etc...
C'est encore aujourd'hui la manière la plus simple et la plus efficace, à défaut d'être vraiment adaptée, pour accéder à de multiples paramètres simultanément. Le contrôle est précis, facilement accessible, mais hélas gestuellement "archaïque" dans le sens où il n'y a généralement aucun rapport entre le nature du geste et l'effet sonore. L'aspect le plus gênant reste la non corrélation entre différents contrôleurs sensés manipuler un même paramètre perceptif comme la position 3D. L'intégration de plus en plus fréquente de contrôleurs bidimensionnels (pads et joysticks) en fait néanmoins des solutions bien adaptées au contrôle de type "surround".

La modularité du Mawzer permet par exemple d'acheter et de configurer des contrôleurs traditionnels comprenant pads XY, potentiomètres et autres boutons en les enfichant simplement dans le boîtier / valise. Il faut tout de même compter dans les 1000 € une fois remplie.

Le Lemur (Jazz Mutant) est quant à lui particulièrement séduisant puisque les contrôleurs "virtuels" peuvent être organisés à loisir et qu'il intègre des fonctions d'associations ou même de "modèles physiques" (friction etc.). Un logiciel Mac/Win permet l'édition confortable sur l'ordinateur avec lequel il communique par liaison réseau. Hélas, son prix (2000 € !) le rend pour l'instant inabordable pour l'artiste indépendant...
Dexter est une surface de contrôle multitouche basée sur leur premier contrôleur Lemur. Celui-ci est dédié aux logiciels multipistes, et rassemble entre autres un contrôleur surround qui gère jusqu'à huit canaux (selon le logiciel connecté évidemment). 

 

 

 Contrôleurs
 spécialisés

 




 


 


Il existe aussi des contrôleurs directement conçus pour le contrôle spatial du son, tel The Bat.
Il s'agit d'un capteur ultrasonique X, Y, Z qui couvre un volume d'environ un m3, et semble fiable et précis. Le jeu se fait à l'aide d'une sorte de stylo relié à la base par un fil. Le sustème est séduisant, mais hélas, son prix (1000 €) le rend peu accessible à l'artiste indépendant...

Sans être spécialisé dans le contrôle spatial, le contrôleur MIDI "AXYZ" d'Alesis se présente comme une solution à la fois économique et apparemment performante. Il est basé sur un capteur infrarouge et permet donc un contrôle tridimensionnel. Combiné avec les multiples contrôleurs du clavier X25 ou du X49 cela en fait une excellente solution pour le jeu des instruments ou des plugins, pour un prix tout à fait correct.

Le P5 Glove d'Essential Reality conçu pour les jeux vidéo, a vite été adapté et adopté pour le contrôle MIDI. Contrairement aux précédents il dispose en effet, en plus des trois axes X, Y, Z, de cinq contrôleurs correspondant à la courbure des cinq doigts. Son système de détection infrarouge permet également d'analyser l'inclinaison et la rotation horizontale de la main. Malgré une "prise en main" délicate (il faut du temps pour trouver la bonne calibration et la bonne posture...), le système est très sensible (même un peu trop !), et peu coûteux (même avec l'importation).
Logiciels de conversion P5 Glove > MIDI :
- P5Glove MIDI : assez sommaire et les contrôleurs MIDI sont préaffectés, mais il fonctionne en coordonnées absolues, ce qui est bien... Quelques AcousModules sont conçus en fonction de ce driver - Ross Bencina (PC)
- P5 MIDI : assez fiable et contrôleurs librement affectables MAIS hélas en coordonnées relatives - Nicolas Fournel (PC)
- GlovePIE : LE logiciel qui permet de tirer du P5 (et d'autres contrôleurs) tout ce qu'il peut donner, et en plus il permet d'en utiliser plusieurs à la fois - Karl Kenner (Win)
- P5osc : en utilisation sur Mac avec PD, via osc... - Tim Kreger (MAC)

La Wiimote qui accompagne la nouvelle console de jeu de Nintendo est l'objet de convoitises de la part des musiciens. Ainsi, Karl Kenner l'a déjà ajoutée à la liste des périphériques reconnus par son GlovePIE, et plusieurs programmeurs proposent des petites applications sur Windows et sur Mac (40 €).

Une autre adaptation de périphériques 3D standards est possible avec le Logitech / 3DConnexion SpaceNavigator (59 €) ou le SpaceExplorer (ci-contre). Le SpaceNavigator possède six degrés de liberté ce qui permet d'être à l'aise pour le contrôle spatial... L'installation standard ne permet pas de l'utiliser en dehors des applications prévues (Maya, 3DSMax, Sketchup, Google Earth...), mais grâce à un utilisateur/programmeur il est maintenant possible de le transformer en contrôleur de type souris / joystick / clavier, utilisable avec n'importe quelle application (Windows uniquement pour l'instant), ou d'émettre directement des messages MIDI (OS X). L'objet est de bonne facture, très sensible, et remplace avantageusement les gros joysticks de jeu.

Enfin, le MétaInstrument conçu par Serge de Laubier (Puce Muse) représente un outil extraordinaire pour le contrôle des instruments MIDI et qui pourrait permettre de contrôler aisément tous les attributs de la masse spatiale (54 variables !). Hélas, sans parler de son encombrement, il est très cher...

 

 

 Capteurs divers

 


Les installations interactives nécessitent des dispositifs inventifs, adaptés au lieu et au propos. Cela va de capteurs de pression (dalles, tapis...) aux capteurs ultrasoniques, en passant par tout ce qui est imaginable... et réalisable.
A voir :
- le site de la société Interface Z présente une quantité d'éléments à combiner recouvrant pratiquement toutes les circonstances
- l'Ircam a édité un CD-Rom regroupant des articles et des démonstrations d'une bonne partie de ce qui existe dans le domaine des contrôleurs gestuels (http://www.ircam.fr/equipes/analyse-synthese/wanderle/Gestes/Externe/Interfaces.html)
- l'équipe qui a créé le logiciel de spatialisation Egosound a également développé un système de contrôle intégré à un fauteuil : http://www.mshparisnord.org/themes/EnvironnementsVirtuels/00068AF0-001E7526
- voir également : http://infusionsystems.com/catalog/index.php/cPath/24
- Reactable : http://www.iua.upf.es/mtg/reacTable/?software
- les extraordinaires recherches de Jeff Han : http://cs.nyu.edu/~jhan/ ... on imagine les applications !

 

 

 Analyse vidéo
 du mouvement

 


 

Une solution particulièrement performante et d'une grande souplesse consiste à utiliser l'image vidéo fournie par une ou plusieurs caméras et à analyser son contenu pour obtenir des contrôles MIDI ou OSC.
Le procédé est maintenant ancien, et un groupe de musique électro-acoustique comme le Collectif & Compagnie à Annecy (maintenant MIA, voir IRISIS) a même été pionnier dans ce domaine.
Il existe actuellement une dizaine d'applications dédiées ou intégrant des modules de "tracking", et j'ai opté pour ma part pour le logiciel Eyecon. Développé par Frieder Weiss, je l'ai utilisé entre autres dans le duo multimédia 4Hands (avec Bertrand Merlier) ainsi que pour des installations. Il bénéficie d'une excellente réactivité, d'une très grande souplesse dans l'organisation des zones de détection et de la programmation, et, ce qui ne gâte rien, d'une stabilité à toute épreuve...
Si ce genre d'outils est destiné à l'origine pour des situations scéniques, leur adaptation pour le contrôle manuel dans l'espace d'un studio ne pose pas de réel problème, excepté la gestion de l'éclairage, car ils sont évidemment très sensible aux variations de la lumière ambiante. L'utilisation en infra-rouge peut résoudre ce problème.

Voir Eyesweb (Windows, freeware) et Jitter + Max/Msp (Mac/Win, 850 $) qui permettent le traitement du son et de l'image. La série de plugins audio Hypno réalisée avec ce dernier environnement intègre des possibilités d'analyse basique d'une entrée vidéo, tout comme MidiWebcam de Pierre Couprie pour Mac OS, minimal mais suffisant pour un tracking simple XY(Z).