Prof. Dr. Wolfgang Broll lebt in der Zukunft. Der Leiter des Fachgebiets Virtuelle Welten und Digitale Spiele an der Technischen Universität Ilmenau verändert mit seinen Computerprogrammen die Realität. Ein Beispiel? Der Blick aus Brolls Bürofenster zeigt im Hintergrund ein altes Haus. Würde er diesen Blick filmen und gleichzeitig auf seinem Computer bearbeiten, könnte er das alte Haus in Echtzeit verschwinden lassen – als wäre es nie da gewesen. An seiner Stelle erschiene auf dem gefilmten Bild vielleicht ein anderes Haus, das der Betrachter von allen Seiten anschauen kann. Verantwortlich für dieses Spektakel ist eine Mischung aus Diminished und Augmented Reality – Brolls tägliches Geschäft. Und für die meisten Außenstehenden ein Rätsel.

Ungestört forschen

Broll arbeitet seit seinem Informatikstudium an virtuellen Welten. Lange leitete er eine Abteilung für augmentierte und virtuelle Realität am Fraunhofer-Institut für Angewandte Informationstechnik in Sankt Augustin. Als er das erste Mal von Ilmenau hörte, musste er erst einmal auf die Karte schauen. Jetzt lebt er in Thüringen. "Die Forschungsergebnisse sind spitze. Wir können uns mit den Besten der Welt messen", sagt Broll. Auf dem Campus der TU Ilmenau ticken die Uhren anders als an anderen Orten. Broll vergleicht die TU gern mit der hochrangigen Universität Virginia Tech in Blacksburg, USA: Es gibt nicht viel Ablenkung, alle konzentrieren sich auf ihre Arbeit.

Letzteres ist Fluch und Segen zugleich. Fünf Doktoranden arbeiten bei Broll, es könnten doppelt so viele sein. Die gute Ausbildung an der TU Ilmenau aber ruft potenzielle Arbeitgeber auf den Plan. "Unsere Absolventen brauchen sich nicht zu bewerben, die bekommen Angebote", sagt Broll. Und so sind sie nach dem Abschluss im Nu weg – statt als Doktoranden seine Forschung zu unterstützen.

Dass seine Studenten so begehrt sind, dazu trägt sicher auch seine Spezialisierung bei. Mit seiner virtuosen Forschungsarbeit an der TU Ilmenau gehört Broll zu den ganz wenigen Forschern in Deutschland, die sich mit Diminished Reality beschäftigen. Auch Augmented Reality wird nur an wenigen anderen Orten auf solch hohem Niveau erforscht. Brolls Ergebnisse sind für Experten extrem spannend. Und für die Wirtschaft: Er gründete gemeinsam mit einem seiner Doktoranden und einem Absolventen der Medienwirtschaft die Firma Fayteq, die Software im Bereich der Diminished Reality entwickelte. Mitte 2017 wurde sie von Facebook gekauft.

Womit sich Wolfgang Broll und seine Forscherkollegen befassen, demonstriert dieses Video:

Herr Broll, Sie erforschen, wie sich die Welt mit Computerprogrammen verändern lässt. Ihr Fokus liegt auf Diminished Reality, bei der Dinge aus unserem Blickfeld entfernt werden. Was ist daran so schwierig?

Wolfgang Broll: Es ist viel komplizierter, etwas zu entfernen, als etwas hinzuzufügen. Füge ich in einem Film oder einer Echtzeitaufnahme etwas hinzu, sprechen wir von Augmented Reality. Dabei habe ich alle Informationen über den Gegenstand, den ich einfüge. Ich muss nur berechnen, wie die Perspektive des Zuschauers zu seiner Umgebung ist. Das ist nicht so schwierig. Wenn Sie aber etwas in Echtzeit verschwinden lassen wollen, dann muss diese Lücke im Bild wiederaufgefüllt werden. Das bedeutet, mithilfe der Informationen, die ich habe – Farben, Formen und deren Verteilung in der Umgebung –, versuche ich, diesen Teil des Blickfelds neu zu erschaffen. Und zwar so, dass es niemand bemerkt und der per Software erzeugte Teil nahtlos in die reale Umgebung eingebettet ist. Das geht häufig sehr gut. Nun stellen Sie sich vor, Sie möchten meine Hand verschwinden lassen. Auch das funktioniert theoretisch sehr schön. Aber es gibt ein Problem: Das Programm lässt nur die Hand verschwinden, der Armstumpf ist noch da. Das Bild, das nach dem Entfernen eines Gegen­stands entsteht, muss auf den Betrachter aber ganz natürlich wirken. So ein Armstumpf ist nicht natürlich.

Was könnte dieses Problem lösen?

Broll: Da gibt es verschiedene Techniken. Aber um solche Probleme in Echtzeit zu lösen, braucht es eine künstliche Intelligenz. Das bedeutet, dass die Software lernt. Sie schlägt vor, was an der Stelle des entfernten Objekts sein könnte – auf Basis dessen, was sie gelernt hat. Für dieses auch "Deep Learning" genannte Training ist ein großes neuronales Netzwerk notwendig. Das kann man sich tatsächlich so ähnlich wie ein Gehirn vorstellen, auch wenn es natürlich nur eine stark vereinfachte Nachbildung dessen ist, was in unserem Gehirn abläuft. Dann braucht man Trainingsdaten. Wenn das Programm Körperteile ersetzen soll, muss es mit Körpern üben. Soll es Häuserteile ersetzen, muss es mit verschiedenen Häu­serdaten trainieren.

Das klingt sehr kompliziert. Wird so etwas schon eingesetzt?

Broll: Bisher gibt es beispielsweise die App eines Möbelhauses, mit der man ein neues Sofa aus dem Katalog über das alte Sofa im Zimmer schieben kann. Schöner wäre es, wenn sich mit Diminished Reality das alte entfernen und mittels Augmented Reality das neue hinzufügen ließe. Und das geht sogar. Wir arbeiten gerade an einem Forschungsprojekt namens "Architect". Dort machen wir das mit Räumen. Unsere bisherigen Ergebnisse sind vielversprechend. In einem Jahr werden wir wissen, ob es funktioniert.

Sie haben Mitte 2017 die von Ihnen und zwei Kollegen gegründete Firma Fayteq an Facebook verkauft. Woran hat Fayteq gearbeitet?

Broll: Wir haben Software zur 3-D-Videobearbeitung und die zugrunde liegenden Technologien entwickelt. Einige davon dienten der Realisierung von Augmented und Diminished Reality. Damit lassen sich unter anderem Realitäten nachträglich verändern. Die Technik wird zum Beispiel in der Postproduktion von Filmen eingesetzt.

Welche weiteren Herausforderungen gibt es bei der Arbeit mit Augmented und Diminished Reality?

Broll: Damit ein virtuelles dreidimensionales Objekt real wirkt, ist zum Beispiel die Beleuchtung sehr wichtig: Wohin fällt der Schatten, wie wird Licht reflektiert, wie verändert sich die Reflexion, wenn der Betrachter seinen Blickwinkel ändert? Eine komplexe Ausgangslage.

Woran forschen Sie noch?

Broll: Bei uns geht es natürlich generell um veränderte Realitäten – also um Welten, die mit diminished, augmented oder virtuellen Technologien neu gestaltet werden. Aber auch darum, die entwickelten Programme für den Anwender gut nutzbar zu machen. Eine gute Bedienoberfläche sollte sich durch Gesten, Sprache oder auch durch Blicke steuern lassen. Das ist zum Beispiel wichtig bei unserer Forschung zum teilautonomen Fahren. Wenn ein Fahrer sein Auto selbst fahren lässt, aber bei Problemen eingreifen soll, muss er sofort erkennen, wo und wie. Um diesen Ablauf reibungslos zu gestalten, müssen wir herausfinden, an welche Stellen Informationen am günstigsten projiziert werden.

Von Annett Zündorf


Zurück zur Übersicht