Stipendium: Abschlussbericht zur Dynamischen Digitalen Maske

Die grüne Fläche kann jedes Bild, Video oder Videostream sein.

Für Interessierte hier eine Zusammenfassung der Recherche zur Umsetzbarkeit von „Dynamischen Digitalen Masken“ mit LowBudget Mitteln. Danke an DiniDynamite, die im letzten Sommer mit unserer Gruppe Geister 1/0 den ersten Versuch unternommen hat.

Die Projektidee ergab sich aus den Arbeiten in der Sommerwerkstatt an der RüBühne Essen im Jahr 2020. Zu der Zeit formierte sich die freie Performance-Gruppe die Geister 1/0, die sich mit der Idee der Digitalen Masken befasst. Eigentlich sollten diese aus den Facefiltern von beispielsweise Instagram oder TikTok heraus entwickelt werden – also auf Augmented Reality Technologie basieren. Allerdings fehlte uns dazu ein Konzept, wie diese auf der Bühne genutzt werden könnten, ohne dass die Zuschauer ihr Smartphone dazu nutzen müssten. Wir wollten vor allem erreichen, dass digitale Komponenten dem analogen Raum hinzugefügt werden können. So erarbeitete eine damalige Kollegin die Idee, dass mittels Dynamic Projectionmapping (das Projizieren auf bewegte Objekte bzw. Körper) Animationen als Digitale Masken auf die Gesichter der Performer projiziert werden könnten. Im Ergebnis erreichte die Gruppe das Ziel, auf Grund von technischen Schwierigkeiten, nicht ganz. Wir schafften es lediglich statische Masken zu erzeugen. Leider verließ die besagte Kollegin die Gruppe nach der Werkschau, woraufhin ich mir vornahm die Forschung zu den Digitalen Masken weiter zu führen. Daraus ergab sich die Idee für das hier eingereichte Konzept.

Ich hatte mir zum Ziel gesetzt, vor allem dynamische Masken bühnentauglich zu machen und zudem die projizierten Animationen in Echtzeit erstellen zu können. So sollte ein Zusammenspiel von Performer und Videokünstler erreicht werden. Der Hintergund dazu ist meine theoretische Auseinandersetzung zu den Qualitäten und Potentialen der Digitalen Masken, die ich in meinem Studium der Theaterwissenschaft bei Mareike Gaubiz (FIDENA) an der Ruhr Uni Bochum betreibe. Außerdem sollte die eingesetzte Technik möglichst kostengünstig und zugänglich für Off-Theater sein.

Aus den Mitteln des Stipendiums schaffte ich zuerst die nötige Technik an. Dazu gehörten neben leistungsstarken Laptop (geeignet zur Echtzeit Verarbeitung von Großen Datenmengen und zum Einsatz im Multimediabereich), diverses Zubehör und die nötigen Softwarelizenzen, sowie ein günstiger Tiefensensor (Kinect V2). Zur Bearbeitung von Animationen und zum Projektion Mapping kaufte ich nach und nach Lizenzen für: Adobe Cloud, Visution Mapio 2, Touchdesigner, Resolume Avenue. Der Videomixer Resolume eignet sich für das generieren von Echtzeitanimation bzw. Echtzeit-Effekten. Außerdem ließe sich mit diesem Programm auch die Bildregie realisieren. Das Problem war aber zunächst, dass es nicht möglich war, die erfassten Daten (Bewegung, Position, Gestik) in Resolume einzuspeisen, damit diese Daten dazu genutzt werden konnten die Bildinhalte auf den Performer zu projizieren. Es musste also eine Schnittstelle geschaffen werden. Bei der Recherche stieß ich auf ein Programm, welches eine solche Schnittstelle besaß und zusätzlich Datenströme aus Resolume empfangen und verarbeiten konnte. Visution Mapio2 schien die vorerst beste Lösung zu sein, allerdings stellte sich bei den ersten Tests heraus, dass die Konfigurationsmöglichkeiten zu eingeschränkt waren. Außerdem konnten die Masken nicht präzise auf den Performer gemappt werden und rutschten stets vom Gesicht.

Nach weiterer Recherche stieß ich auf die grafische Programmierumgebung für Echtzeitanimationen Touchdesigner. Mit diesem Tool ließen sich einerseits die Kinect-Daten erfassen, modifizieren und beispielsweise über NDI (Video) oder OSC (numerische Daten) distributieren. Allerdings erforderte es einige Zeit, bis ich dieses Tool so weit erlernt hatte, bis ich es auch nutzen konnte. Zeitgleich arbeitete ich mich in Aftereffects und Premiere ein, um die Masken gestalten und rendern zu können bzw. Rohmaterial zu erstellen, welches in Resolume live weiterverarbeitet werden konnte.

Anfang 2021 gelang es mir schließlich, die erfassten Daten der Kinect über Touchdesigner so zu verarbeiten, dass sie als OSC Signal in Resolume den Positions-Parametern der Masken zugeordnet werden konnten. Jedoch mussten dafür Rechenoperationen durchgeführt werden, bei denen es am Ende in meinem Fall immer wieder zu Ungenauigkeiten kam. Daher entschied ich mich nochmals für einen neuen Ansatz, bei dem ich ausschließlich mit Touchdesigner arbeitete.

Das aufgetauchte Problem war, dass Kinect und Beamer kalibriert werden mussten, damit überhaupt ein Dynamic Projektion Mapping möglich würde. Nach einigen Fehlversuchen und einigen Recherchen und Testläufen fand ich eine Komponente in Touchdesigner, die sich zur Lösung eignete. Zwischenzeitlich hatte ich Kontakt zu TouchProgrammieren in Kanada aufgenommen, wodurch ich einige Hinweise und Tipps bekam. Entscheidend war die Hilfestellung von Markus Heckmann (Touchdesigner Entwickler), der meinen Patch überprüfte und via Email mit mir die Fehlerquelle suchte. Was auch gelang. Zuvor hatte mich Will Michaelsen (CutMod LLC) darauf hingewiesen, dass es effizientere technische Lösungen gibt, die sich für den Performancebereich besser eignen. Denn die Möglichkeiten der Kinect V2 sind sehr begrenzt, wenn es um Übertragungsgeschwindigkeit und Erfassungs-Radius geht.

Schließlich erreichte ich zumindest ein Teilziel und stieß während dieser Arbeit auf eine Vielzahl an Möglichkeiten, die zwar nichts mit der Digitalen Maske zu tun haben, aber die Arbeit an Hybridem Objekttheater und Interaktiver Videoperformance bereicherten.

Das erreichte Teilziel bestand darin, dass die Dynamische Digitale Maske nur in Form von sitzenden, oder langsam in einem engen Radius bewegenden Performern möglich wurde. Um das ideale Ergebnis zu erreichen, müsste ich mich nun anderen Techniken zuwenden. Diese verlangen zunächst die Einarbeitung in andere Tools und Programmiersprachen und die Anschaffung von professionellerem Equipment. Dazu im Fazit mehr.

Die wichtigste zufällige Entdeckung war der Charakter Animator von Adobe, der in den erworbenen Lizenzen enthalten ist. Denn mit diesem Tool, nebst Photoshop, gelang es meiner Kollegin Selina Koenen und mir, für unser Kinderensemble RüKids eine komfortable nutzbare Technik aufzusetzen, mit der wir die Idee des Digitalen Puppenspiels umsetzen konnten. Zwar nur in 2D und mit ein paar anderen Abstrichen, die wir vorerst in Kauf nehmen müssen. After Effects können wir nun z.B. auch zur Animationen von Hintergründen nutzen. Dank der angeschafften Technik konnten wir so einen Online-Workshop für Kinder anbieten und einen Echtzeitanimationsfilm konzipieren, der voraussichtlich Im September 2021 Premiere feiern wird. Außerdem können wir nun im Bereich Digitales Puppenspiel weitere kindgerechte Angebote machen. Solange wir uns die Lizenzen leisten können.

Mittels Touchdesigner und der Kinect, können wir auch in das Digitale Puppenspiele mit 3D Figuren einsteigen. Mit Touchdesigner alleine, lassen sich die erfassten Daten nutzen, um in Echtzeit Figuren zu erzeugen, die aus geometrischen Formen bestehen. Mit einer Vertiefung in die Programmierumgebung sind auch komplexere Figuren machbar. Auch vorgefertigte 3D Modelle lassen sich mit Touchdesigner + Kinect von einem Performer in Echtzeit animieren.

Im Bereich Interaktive Videoperformance, können wir nun dank Touchdesigner und der Kinect, abseits vom Dynamic Projectionmapping, weitere ästhetische Versuche unternehmen. Motiontracking und Gestensteuerung zur Interaktion des Performers mit Digitalen Objekten, Echtzeitanimationen, Live-Video-Effekte, die mehr Möglichkeiten bieten, als das bisher genutzte Resolume.

Außerdem haben wir mit Touchdesigner ein Tool, dass uns den Einstieg in die VR und AR (langfristig Mixed Reality) ermöglicht. Allerdings verlangt dies noch einiges an Lernprozess und Anschaffung entsprechender Geräte.

Dank Vistution Mapio können wir auch Projection Mappings umsetzen. Allerdings werden wir mittelfristig hierfür auf Resolume Arena umsteigen, sobald unsere Mittel dies hergeben.

Der größte Erfolg des Stipendiaten-Jahres besteht allerdings darin, dass wir auf Basis der angeschafften Technik und der intensiven Einarbeitung ein Projekt konzipieren konnten, welches sich mit dem Hybriden Objekttheater befasst. Dieses wurde von der LAG Soziokultur NRW für zwei Jahre bewilligt und ist bereits erfolgreich angelaufen.

Um die digitale Masken nun konsequent und technisch einwandfrei realisieren zu können, müssen wir auf die VR Technologie umsteigen. Die hier genutzten Tracker eignen sich viel besser, um einen Performer auf der Bühne zu verfolgen. Mit entsprechender Programmierung ließen sich dann auch die tatsächlichen Masken, wie sie als Facefilter existieren, umsetzen (AR). Außerdem muss in einen Projektor investiert werden, der eine höhere Bildrate ausgeben kann, damit das dynamische Mapping auch bei schnellen Bewegung umsetzbar ist. Dazu bedarf es aber neuer Mittel und mindestens ein weiteres Jahr der Recherche und des Lernens von Tools und Programmiersprachen. Ziel wird es sein, von dort aus die Möglichkeiten der Mixed Reality auszuloten. Denn so ließe sich der Anspruch, die Digitalität auf die Bühne zu holen, statt die Bühne in den digitalen Raum zu überführen, konsequent umsetzen. Das bisher Erreichte eignet sich aber schon jetzt, um Theater im Digitalen Raum und im Analogen stattfinden zu lassen, und in beiden Räumen das jeweilige Besondere zu entfalten. Am 18.7.2021 werden wir erste Ansätze in einer Werkschau an der Rü-Bühne präsentieren.

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s