Ein Blick in die virtuelle und erweiterte Realität


Veröffentlicht am: 03.04.2019
Zuletzt aktualisiert: 16.10.2019


Juli 2016, Köln-Innenstadt: Eine Handvoll Jugendlicher steht mit Blick auf ihre Smartphones an einer Straßenecke. Völlig versunken in ihre Displays reden sie kaum miteinander und scheinen auf etwas Bestimmtes zu warten. „Da ist er wieder!“, schreit einer von ihnen plötzlich auf und hantiert aufgebracht mit seinem Handy herum. Er richtet sein Gerät auf die gegenüberliegende Straßenseite, peilt mit der Smartphone-Kamera eine Plakatwand an und wischt mit seinem Finger über den Bildschirm auf und ab. „Wo denn?“, schreit einer der Anderen, stellt sich mit seinem Gerät daneben und fokussiert die gleiche Stelle an, „Bei mir kommt nichts“! Auch die anderen haben sich mittlerweile in die gleiche Richtung gedreht und versuchen ihr Glück. Währenddessen läuft eine ältere Frau die andere Straßenseite entlang, schaut beim Anblick der ungewöhnlichen Szene kurz irritiert und schüttelt beim Weitergehen den Kopf. Die Jugendlichen scheinen die ältere Frau gar nicht wahrgenommen zu haben, obwohl Sie direkt durch den anvisierten Bereich lief. „Hab ihn!“, freut sich der Erste, „Der fehlt mir noch auf meiner Liste!“. Nach und nach feiern auch die anderen ihren Erfolg und freuen sich über ihre Beute. Erst als der Letzte seinen Fang gemacht hat, zieht die Gruppe langsam weiter – das Smartphone-Display stets im Blick.

Pokémon GO: Spiele-App verursacht AR-Hype

Ob beim Spaziergang im Park, beim Bummeln in der Einkaufsstraße oder auf dem Weg zum Bäcker, im Sommer 2016 war es kaum zu vermeiden, ähnliche Szenen zu erleben: Jung und Alt stürzten sich mit ihren Smartphones in die virtuelle Monsterjagd. Grund für dieses ungewöhnliche Phänomen war die Spiele-App „Pokémon GO“ mit der das Softwareunternehmen Niantic im Jahr 2016 einen regelrechten Augmented-Reality-(wörtlich: erweiterte Realität, kurz: AR) Hype auslöste. Bis zu 30 Millionen Nutzer versuchten sich zu Hochzeiten an der neuartigen AR-Erfahrung mit den virtuellen Kult-Kreaturen. Gleichzeitig stellte das bunte Pokémon-Spiel für viele Menschen auch den ersten Berührungspunkt mit der erweiterten Realität dar. Während sich mittlerweile der Hype um Pokémon GO wieder gelegt hat, erfährt die Einbindung von erweiterter Realität immer mehr Einzug in den Alltag von Konsumenten. Denn Unternehmen und Startups haben das Potential von AR-Anwendungen schon länger im Blick, weshalb heute immer mehr Produkte zur Marktreife gebracht werden. Insbesondere die Umsetzung von AR auf mobilen Endgeräten stellt für viele Konsumenten einen günstigen und einfachen Einstieg in die erweiterte Welt dar. Denn aktuelle Smartphones oder Tablets sind inzwischen mit ausreichend leistungsfähiger Hardware ausgestattet, um AR-Anwendungen zu unterstützen.

Spaß und Nutzen mit AR-Apps

So lässt sich über das Smartphone zum Beispiel mit virtuellen Billardkugeln auf dem heimischen Küchentisch oder mit virtuellen Lego-Bausteinen spielen. Statt auf die Jagd nach kleinen bunten Kreaturen zu gehen, können AR-Nutzer ihr direktes Umfeld in eine postapokalyptische Welt verwandeln und zusammen mit Charakteren aus der Erfolgsserie „The Walking Dead“ gegen Zombies kämpfen. Neben solchen bunten und actionreichen AR-Spielen gibt es aber auch praktischere AR-Apps, mit denen man beispielsweise als Bauherr ein 3D-Modell von seinem zukünftigen Eigenheim auf das noch leere Grundstück legen kann, um sich so einen Eindruck vom fertigen Haus machen zu können. Eine weitere App erkennt durch die Handykamera die wichtigsten Autoteile und zeigt dem Fahrer Videos mit Schritt-für-Schritt-Anleitungen an. So bleibt die umfangreiche Bedienungsanleitung unangetastet im Handschuhfach.

Eintauchen in die Welt von AR, Virtual Reality und Mixed Reality

Aber was genau ist AR und wo liegt der Unterschied zur virtuellen Realität (VR) oder Mixed Reality (MR)? Auf den ersten Blick lassen sich Computergrafiken, 3D-Modelle und digitale Bildinformationen auf allen drei Formaten in unterschiedlichste Komplexität darstellen und erleben. Schaut man etwas genauer hin, zeigt sich der Unterschied aber im jeweiligen „Eintauchen“ des Nutzers in die künstliche digitale Umgebung, die das entsprechende Realitäts-Format erzeugt.

VR: Unterwegs in künstlicher Umgebung

VR-Nutzer treten im Vergleich zu AR- oder MR-Besuchern komplett in die virtuelle Umgebung ein. Dazu müssen die Anwender ein VR-Headset oder eine VR-Brille tragen, die ihre Augen und damit ihren kompletten Sichtbereich bedeckt. Die virtuelle Realität aus Computergrafiken wird dann je nach Headset-Variante entweder mit Hilfe eines angeschlossenen oder integrierten Computers über das Display im Inneren der Brille dargestellt oder über ein Smartphone, das in die VR-Brille eingesetzt wird und als VR-Display dient. Dreht der Headset-Träger den Kopf und nimmt zusätzlich noch Hand-Controller zur Hilfe, kann er sich in der digitalen Umwelt bewegen und sogar mit digitalen Objekten interagieren. Kopfhörer und vibrierende Komponenten an Controller oder Headset erweitern das VR-Erlebnis noch zusätzlich und lassen den Nutzer noch stärker in die digitale Welt eintauchen. So ergibt sich für den VR-Nutzer eine künstliche digitale Umgebung, die die reale Welt vollständig ersetzt.

AR: Die Realität mit digitalen Inhalten erweitern und vermischen

Bei Augmented Reality hingegen hat das Zusammenspiel mit der realen Welt eine größere Bedeutung und stellt ein wichtiges Merkmal der Technologie dar. Denn AR-Geräte und AR-Anwendungen erweitern die physische Welt mithilfe digitaler Inhalte und zeigen Zusatzinformationen zu Gegenständen, Prozessen oder Menschen am entsprechenden Ort in der Realumgebung des Anwenders.

Der einfachste Weg, um AR zu erleben und virtuelle Objekte auf die reale Umgebung zu projizieren, ist die Anwendung von AR-Apps über mobile Endgeräte wie Smartphones oder Tablets. Dabei legt die App-Software mit Hilfe der eingebauten Gerätekamera virtuelle Objekte auf die reale Umgebung. Das entsprechende AR-Bild wird dann über das Smartphone-Display ausgegeben. Zusätzlich kann der Anwender durch Fingergesten auf dem Touch-Display mit der AR-Darstellung und den virtuellen Objekten interagieren. Augmented Reality lässt sich aber auch über AR-Headsets erleben, die wie eine normale Brille getragen werden und das Blickfeld nicht komplett umschließen. Hier bleibt das reale Umfeld für den Träger einsehbar und digitale Informationen werden über das Brillenglas vor die Augen des Nutzers projiziert. Ein komplettes Eintauchen in eine digitale Umgebung wie bei VR findet hier nicht statt.

MR: Physische und digitale Welt im Austausch

Eine fortgeschrittene Form von Augmented Reality stellt Mixed Reality dar, bei der ebenfalls virtuelle Gegenstände auf die reale Welt überlagert werden. Bei MR werden diese digitalen Objekte noch zusätzlich mit der realen Welt verankert und reagieren auf die physische Umwelt. In diesem Fall erfolgt die Umsetzung über holografische Geräte, die der Nutzer als Headset mit einer durchscheinenden Brille trägt. Die Umgebung bleibt dadurch für den Träger sichtbar und die virtuellen Informationen werden durch einen integrierten Computer generiert. Das zurzeit bekannteste Mixed Reality-Headset, was auch die Entwicklung dieses Realitäts-Formates stark geprägt hat, ist die HoloLens von Microsoft.

Gemischte Realität mit Microsoft HoloLens

Als geschlossenes System stellt die HoloLens einen nahezu vollwertigen Windows-10-PC in Video-Brillenform dar. Der eingebaute holographische Computer scannt die Topologie der Umgebung, visualisiert digitale Inhalte in der realen Welt und ermöglicht die Interaktion mit Hologrammen. So können zum Beispiel Windows-10-Applikationen, aber auch speziell für die HoloLens entwickelte Apps ins Sichtfeld des Nutzers projiziert werden. Zur Interaktion mit diesen Hologrammen besitzt die HoloLens eine Blick-, Gesten- und Sprach-Erkennung. Der Anwender hat dadurch die Möglichkeit, die virtuelle Darstellung und die Interaktion mit den Hologrammen über die Blickrichtung, einfache Finger- oder Handgesten und Sprachbefehle zu steuern. Außerdem lassen sich die Eingabemöglichkeiten noch zusätzlich über Bluetooth und den Anschluss von Tastatur sowie Maus erweitern.

Effizientes und flexibles Arbeiten mit Hologrammen

Derzeit ist die HoloLens nur für Entwickler und vorrangig für den Einsatz in Unternehmen konzipiert. Dementsprechend liegt der Fokus der möglichen Anwendungen und Einsatzmöglichkeiten stärker auf der Arbeitswelt. Hierfür stellt Microsoft über Dynamics 365 die zwei Mixed-Reality-Anwendungen „Remote Assist“ und „Layout“ zur Verfügung, die auf die Optimierung von Arbeitsprozessen abzielen.

Mit „Remote Assist“ hat der Headset-Träger die Möglichkeit, über Freisprech-Videotelefonie einen externen Fachexperten zu Rate zu ziehen, der zum Beispiel bei technischen Problemen bei der Arbeit vor Ort helfen kann. Beide Gesprächspartner führen über die Software ein Videogespräch und können durch den Audio- und Bildaustausch zusammen an der Lösung des Problems arbeiten. So können beide Videoteilnehmer Markierungen im AR-Umfeld erstellen, um auf wichtige Komponenten, Details oder Bereiche im realen Umfeld des HoloLens-Trägers hinzuweisen. Komplexe Probleme, die sonst mehr Zeit und möglicherweise sogar Fahrtkosten verursachen würden, können so in wenigen Minuten gelöst werden.

Die zweite Anwendung „Layout“ ermöglicht das Erleben von digitalen Design-Entwürfen in realer Umgebung des Anwenders. Mit Layout und der HoloLens können Maschinenbauer, Architekten oder Designer vor der Erstellung von realen Objekten einen digitalen Entwurf in VR-Umgebung anfertigen und das Ergebnis anschließend in realer Umgebung erproben. Sind Größe, Farbe oder die geplante Position des Objekts noch nicht perfekt, kann der Nutzer die digitalen Entwürfe noch nachträglich über die AR-Umgebung an die reale Umgebung anpassen. Zum Abschluss können die Verantwortlichen den Projektbeteiligten die Layouts, Designs oder Objekte präsentieren sowie die Dateien mit ihnen teilen.

Augmented Reality punktet mit mehr Anwenderpotential

Im Vergleich zwischen den einzelnen Technologien bieten die Augmented-Reality-Formen durch ihre universellere Verwendbarkeit laut Branchenkenner und Tech-Experten den meisten praktischen Nutzen für Endanwender und Unternehmen. Erst Anfang 2018 verkündete Apple-Chef Tim Cook, dass AR für Menschen bald so wichtig und allgegenwärtig werde wie drei Mahlzeiten am Tag. Laut Prognosen wird ein Großteil der Consumer-Nutzung auch in Zukunft auf die Spielebranche mit Umsatzvolumen in Milliardenhöhe fallen. Aber auch außerhalb des Consumer-Bereichs zeigt AR sowie MR durch eine Implementierung im Unternehmen viel Potential, die Produktivität von Arbeitsprozessen zu steigern.

Hier stellt insbesondere der Medizinbereich ein interessantes und weitreichendes Arbeitsfeld mit einem hohen Anwendungspotential für diese Art der Mensch-Computer-Interaktion dar. Denn der medizinische Einsatz von VR- oder AR-Geräten kann einem behandelnden Arzt oder einer Pflegekraft auf verschiedenste Weise unter die Arme greifen. So können AR-Anwendungen zum Beispiel Chirurgen im OP unterstützen, indem CT- oder MRT-Bilder eines Patienten auf eine Datenbrille projiziert werden. Dadurch muss der Arzt während der OP nicht mehr seinen Blick auf einen Monitor werfen, sondern sieht über die AR-Brille die wichtigsten Informationen zum Zustand des Patienten. Die Visualisierung von 3D-Modellen über VR-Brillen hingegen kann Ärzten helfen, anatomische Strukturen aus sämtlichen Perspektiven zu betrachten. Als Unterstützung für präoperative Planung und Darstellung kann sich so der Operateur vor dem Eingriff einen Überblick über die OP-Situation verschaffen. In der medizinischen Ausbildung und Forschung zeigt die Anwendung von AR und VR ebenfalls viel Potential, womit zum Beispiel komplexe Eingriffe oder Notfallsituationen realitätsnah simuliert oder erprobt werden können. Auch im Pflegebereich können die digitalen Brillen insbesondere bei psychischen Erkrankungen oder körperlichen Einschränkungen helfen und beispielsweise bettlägerigen Menschen einen Ausflug vor die Tür ermöglichen.

Virtuelle Technik bei der SoCura

Auch die SoCura hat schon in verschiedenen Projekten Erfahrungen mit VR- und MR-Brillen sowie entsprechenden Anwendungen gesammelt und behält die Entwicklung der digitalen und virtuellen Technologien im Auge. So ermöglichten wir über eine VR-Simulation während der Baumaßnahmen zur neuen Malteser Zentrale in Köln einen virtuellen Rundgang durch das neue Gebäude. Durch den Einsatz einer VR-Brille (Oculus Rift) konnten dadurch einzelne Büroräume bereits vor dem Bauabschluss betreten werden. Des Weiteren haben sich Auszubildende der SoCura in einem Ausbildungsprojekt mit der Microsoft HoloLens beschäftigt und eine eigene Mixed-Reality-App entwickelt, die auf dem Tag der Ausbildung am 17. November 2018 vorgestellt wurde.

Zukunft der virtuellen Technologie: Neugeräte mit Spannung erwartet

Für die nächsten Jahre zeichnet sich ein Trend zu autarken und immer kleineren VR- und AR-Brillen ab, womit der praktische Nutzen entsprechender Geräte und auch die Chance auf eine stärkere Marktdurchdringung der virtuellen Technologien steigen wird. Ebenfalls zeigt die Kombination von AR und virtuellen Sprachassistenten viel Entwicklungspotential und soll VR- und AR-Geräte noch intelligenter machen. Eine entscheidende Rolle für die zukünftige Entwicklung des AR- und MR-Bereichs spielt auch die HoloLens 2, die am 24. Februar auf dem Mobile World Congress in Barcelona vorgestellt wurde. Das Nachfolgemodell soll im laufenden Jahr erscheinen und im Vergleich zum Vorgänger ein verbessertes Sichtfeld, optimierte Tracking-Sensoren und einen höheren Tragekomfort bieten. Außerdem soll die diesjährige Veröffentlichung der Oculus Quest zu einer größeren Verbreitung von VR-Geräten im Consumer-Bereich führen.

Als Teamleiter Integration & Entwicklung bei der SoCura beschäftigt sich Arne Stenmanns mit Innovationen im medizinischen Bereich. Er hält Präsentationen zu Themen wie Virtual Reality, Augmented Reality oder Künstliche Intelligenz, um unseren Kunden den Einsatz neuer Technologien näher zu bringen. Mit einem großen Interesse an Technik und einem Händchen fürs Basteln begann seine IT-Laufbahn bereits im Kindesalter. Im Laufe der Jahre baute er dann im Berufskolleg und während seines IT-Studiums an der Bergischen Universität Wuppertal seine Fachkenntnisse immer weiter aus. Als Softwareentwickler und Technik-Enthusiast bei der SoCura setzt er nun sein Know-How bei Projekten wie der VR-Simulation für den Neubau der Malteser-Zentrale oder der Anwendung von Azure Cognitive Services mit der Microsoft HoloLens ein.

Arne Stenmanns
Teamleiter Integration und Entwicklung


Artikel teilen