Recherche, sonification et biosignaux

Recevez les données du matériel de laboratoire et des capteurs, jouez des jeux de données en son, en lumière ou en images, enregistrez et rejouez des sessions, et construisez expériences et œuvres de biofeedback sur une timeline. Libre et gratuit, développé avec des laboratoires de recherche.

Télécharger ossia score 3.9.0 Essayer dans le navigateur Documentation (en anglais)

Gratuit et open source (GPLv3) · Windows, macOS, Linux, Raspberry Pi et navigateur web

ossia score est né dans des laboratoires de recherche (historique du projet) et continue d’être développé avec eux. Il relie le matériel scientifique et les jeux de données au son, à la vidéo et à la lumière, pour des expériences, de la sonification et des œuvres faites de données physiologiques.

Ce que vous pouvez faire

Matériel de laboratoire : Lab Streaming Layer (LSL) pour l’EEG et d’autres appareils physiologiques, bus CAN avec bases DBC, ports série, capteurs Bluetooth LE, et tout ce qui parle OSC ou MQTT (LSL, CAN, série).
Jeux de données : ouvrez des fichiers HDF5 et CSV, y compris de grandes colonnes, et jouez-les comme courbes, tableaux ou textures (HDF5, traitement de données).
Sonification et visualisation : associez les données à la synthèse, au son spatialisé, aux shaders, à la 3D ou à la lumière DMX, et tracez les signaux à leur arrivée (visualisation de données, Teleplot, affichage de signaux).
Biosignaux et biofeedback : le rythme cardiaque et d’autres signaux physiologiques pilotent son, vidéo et lumière, avec lissage, filtrage et statistiques (accumulateur, filtre de valeurs).
Enregistrer et rejouer des sessions : enregistrez n’importe quel appareil en CSV, rejouez-le plus tard, et enregistrez l’audio à côté (enregistrement, enregistreur CSV).
Protocoles scriptés : écrivez l’expérience comme une timeline avec conditions, et automatisez-la avec l’API JavaScript (API de script).
Étendez-le : ajoutez vos propres objets C++, exposez les paramètres de vos logiciels avec libossia, et construisez des pipelines de rendu sur mesure pour la recherche en graphisme (plug-ins).

Une personne portant un casque à capteurs se tient à une table devant une grande projection, tandis que le public est allongé au sol parmi des tubes LED lumineux

BioSynth light show, Erin Gee : un spectacle lumineux LED et DMX piloté par des biosignaux, exécuté par ossia score sans interface sur un Raspberry Pi.

Les besoins de la recherche, et les réponses d’ossia score

Ce dont vous avez besoin	Comment ossia score y répond
Recevoir en temps réel les données du matériel de laboratoire	Appareils LSL, CAN, série, Bluetooth LE, OSC et MQTT.
Entendre ou voir un jeu de données	Fichiers HDF5 et CSV joués comme courbes, tableaux ou textures, associés au son, à l'image et à la lumière.
Répéter une session à l'identique	Enregistrez les appareils en CSV et rejouez-les, avec le protocole écrit comme une timeline.
Un logiciel que relecteurs et autres laboratoires peuvent utiliser	Libre (GPLv3), sous Windows, macOS et Linux, avec des projets qui s'ouvrent partout.
Ajouter votre propre algorithme	JavaScript, Faust, shaders et extensions C++, ou libossia dans votre propre programme.

Voyez la galerie des œuvres utilisant des données physiologiques, comme VIBH2O / VIB.E-MOTION de Fheel Concepts, un spectacle de cirque participatif piloté par le rythme cardiaque du public.

Télécharger ossia score 3.9.0 Essayer dans le navigateur Documentation (en anglais)

Gratuit et open source (GPLv3) · Windows, macOS, Linux, Raspberry Pi et navigateur web

Autres usages d'ossia score

Scène et musique

Régie de spectacle — Cues, scènes et timecode pour le théâtre, les concerts et l'événementiel.
Musique électronique live — Synthés, boîtes à rythmes, sampler, séquenceurs pas à pas et plug-ins, synchronisés avec l'horloge MIDI, le timecode et les visuels.
Spatialisation sonore — DBAP, GBAP et trajectoires sur tout dispositif de haut-parleurs, jusqu'à 1024 canaux, et pilotage de moteurs de spatialisation.
Danse et théâtre interactifs — Détection de pose, caméras de profondeur, capteurs et tracking pilotent son, vidéo et lumière, dans des cues et des scènes.
Musique mixte — Des partitions interactives qui attendent les interprètes, cues aux pédales, traitement en direct et son spatialisé.

Vidéo et lumière

Vidéo, mapping et VJing — Lecture vidéo, mapping multi-projecteurs, shaders, 3D et NDI, synchronisés avec le son et la lumière.
Éclairage DMX et LED — Art-Net, sACN et DMX USB avec une bibliothèque de projecteurs et le pixel mapping LED, synchronisés avec le son et la vidéo.
Art génératif — Shaders, 3D, gaussian splats et live coding, joués en direct ou rendus image par image.
Enregistrement et streaming — Caméras, SDI, NDI et SRT en entrée ; enregistrement ProRes ou MP4, streaming RTMP et NDI ou Spout en sortie.

Lieux et expériences

Installations interactives — Capteurs, caméras et tracking, son et vidéo, en fonctionnement autonome sur un PC ou un Raspberry Pi.
Musées et expositions — Des dispositifs qui tournent toute la journée sans personnel, supervisés, avec panneau de contrôle et bornes.
Escape games et attractions — Énigmes, accessoires et capteurs qui pilotent son, vidéo et lumière, avec logique de jeu et panneau maître du jeu.
Art cinétique et robotique — Moteurs, pompes et robots écrits sur une timeline, réactifs aux capteurs, synchronisés avec son, vidéo et lumière.

Outils et recherche

Timeline OSC, MIDI et DMX — Automatisez n'importe quel paramètre OSC, MIDI ou DMX sur une timeline interactive, avec déclencheurs et conditions.
Programmation visuelle — Patchez audio, vidéo et interaction avec des nœuds et une timeline, et exécutez vos patchs Pure Data.
IA en temps réel — Détection de pose, profondeur depuis une webcam, génération d'images en temps réel, modèles de langage et apprentissage par l'exemple, en local.
Passerelle entre protocoles — Convertissez entre MIDI, OSC, DMX, MQTT, série, HTTP et Bluetooth LE, avec mapping et filtrage, en permanence.
Enseignement et ateliers — Un outil gratuit pour le son, la vidéo, la lumière, les capteurs et le code, sur tous les systèmes et dans le navigateur.
Applications sur mesure — Empaquetez un projet avec votre interface en application pour Windows, macOS, Linux ou le web.

Read this page in English