L'IA en temps réel pour les artistes
Détection de pose et d'objets, profondeur depuis une simple caméra, génération d'images en temps réel, modèles de langage et de vision, et apprentissage automatique par l'exemple, sur votre propre ordinateur et sur la même timeline que le son, la vidéo et la lumière. Libre et gratuit.
Gratuit et open source (GPLv3) · Windows, macOS, Linux, Raspberry Pi et navigateur web
ossia score exécute les modèles d’IA comme des objets ordinaires d’un patch : une caméra entre, des positions, des images, du texte ou du son sortent, et ils pilotent le reste de l’œuvre. Les modèles tournent en local, sur votre ordinateur, pas dans un service en ligne.
Ce que vous pouvez faire
- Voir les personnes et les objets : détection de pose de plusieurs personnes avec lissage, détection et segmentation d’objets, détection d’émotions, maillages du corps, et profondeur depuis une caméra RGB ordinaire (détection de pose, reconnaissance).
- Générer des images en temps réel : StreamDiffusion et librediffusion avec SD et SDXL Turbo, Flux.2 Klein, ControlNet, IP-Adapter et LoRA, depuis une caméra, une vidéo ou du contenu généré (StreamDiffusion). Nécessite Windows ou Linux avec une carte graphique NVIDIA.
- Modèles de langage et de vision : Qwen3 et Gemma 3, et des modèles qui décrivent un flux vidéo en mots ; composez et faites évoluer des prompts dans le temps (LLM Qwen, compositeur de prompts).
- Son : séparation de pistes et vocodeurs neuronaux.
- Apprentissage par l’exemple : entraînez un classifieur ou un régresseur à partir de quelques exemples de gestes ou de données de capteurs, et interpolez entre des états (classifieur, régresseur).
- Vos propres modèles : un objet ONNX générique exécute d’autres modèles, sur CUDA, TensorRT, DirectML ou Core ML ; certains modèles fonctionnent aussi dans la version web grâce à WebNN.
- De l’IA vers tout le reste : les poses deviennent du MIDI, de l’OSC, de la géométrie 3D ou des cues lumière (tracking vers MIDI, tracking vers géométrie).
Reflet, Noukii (Anouk Ethier) avec Isabella Salas et Allison Moore, à la SAT : logique du spectacle et images générées en temps réel par des modèles sur mesure dans ossia score. © Agustina Isidori
Les besoins de l’IA, et les réponses d’ossia score
| Ce dont vous avez besoin | Comment ossia score y répond |
|---|---|
| Suivre le corps sans capteur spécial | Détection de pose et estimation de profondeur depuis une webcam ordinaire. |
| Des images générées qui réagissent au public ou à la musique | Génération d'images en temps réel pilotée par caméras, capteurs et analyse audio, avec des prompts qui évoluent dans le temps. |
| Garder les données sur place | Les modèles tournent sur votre ordinateur ; rien n'est envoyé à un service en ligne. |
| Concevoir l'interaction par l'exemple, sans coder | Classifieurs et régresseurs entraînés à partir de quelques gestes enregistrés. |
| Un spectacle identique chaque soir | Les objets d'IA font partie de la timeline, avec cues, scènes et conditions. |
Gratuit et open source (GPLv3) · Windows, macOS, Linux, Raspberry Pi et navigateur web