Unsere Lösung nutzt die hinzugewonnene dritte Dimension sowohl bei der virtuellen Darstellung als auch bei den realen Interaktions-Instrumenten.

Das zu untersuchende Objekt kann virtuell schnell und präzise in seine Einzelteile beliebig zerlegt, verglichen und analysiert werden und nutzt dabei den vorhandenen Raum der CAVE aus. Die Kontextualisierung sorgt dafür, Objekte im Einzelnen zu untersuchen oder einen Eindruck des umgebenden Raumes zu gewinnen.

Aufgabenstellung
1. Technische Voraussetzungen
Unser Lösungsansatz
Beispiel eines Handlungsablaufs

Konzeptbeschreibung

I Aufgabenstellung

Aufgabe ist die Konzeption und visuelle Gestaltung eines Interfaces für Ingenieursarbeiten in einer virtuellen, 3-dimensionalen Umgebung.
Bei der European Aeronautic Defense and Space Company (EADS) werden zwar bereits CAVEs und andere VR-Technologien zur Darstellung von Flugzeugkonstruktionen eingesetzt, jedoch fehlt für die Interaktion mit den gewaltigen Mengen an Daten (geometrische sowie physikalische Eigenschaften wie Dichte, Temperatur, .) bisher jegliches Interface. So ist es dort bisher nur möglich, sich durch aufwendig vorbereitete Szenen zu bewegen, ohne mit einzelnen Objekten interagieren zu können.
Alle "Interaktionen" zur Vorbereitung einer Szene sind zur Zeit nur mit hoch spezialisierten Programmen (z.B. Crash-, Licht-, Material- und Klima-Simulation) am Bildschirm möglich, die Expertenwissen und einer langen Einarbeitungszeit bedürfen.
Benötigt wird daher ein universelles Interface, das all diese Interaktionsfälle intuitiv in sich vereint und auf die VR-Umgebung überträgt. Aufgrund der Komplexität ist zunächst nur die Konzeption eines grundsätzlichen Ansatzes vorgesehen, der sich gut für die weitere Verfeinerung eignet.

1 Technische Voraussetzungen

Hardware

CAVE
Datenhandschuh mit Force Feedback, Navigationstool (s. Bedienung)
Unendlich Rechenkraft

Software

Modell ist hierarchisch strukturiert (DAG)

II Unser Lösungsansatz

1 Zielsetzungen

Einfache Navigation durch die Objekthierarchie
Transparente Darstellung der Zusammenhänge zwischen Objekten
Einfache Materialbestimmung und -veränderung
Trennung Objektgeometrie / Materialeigenschaften / physikalische Lasten
Unterschiedliche Kontexte für die Behandlung von Objekten
Immersionsmodus vs. Arbeitstischmodus
Ausnutzung der Interaktionsinstrumente in der VR
Effiziente und fließende Bedienung

2 Basiselemente

Objektgraph

Der Objektgraph ist das zentrale Element zur Navigation durch die logische Struktur des zu behandelnden Objektes. An der Wurzel und damit zu Anfang steht das Objekt als Ganzes. Möchte man ein Unterobjekt aus dem ganzen Objekt behandeln, kann man dieses mittels der Selektionsmechanismen (s. u.) aus dem Gesamtobjekt extrahieren. Dieses Unterobjekt rückt dann in den Vordergrund - mit einem sichtbaren Verweis auf seinen Ursprung im Vaterobjekt, das sich miniaturisiert in die rechte obere Ecke verzieht und eine Hierarchie beginnt.
Auf diese Weise kann man sich über mehrere Stufen, auch mit parallelen Strängen, vorarbeiten und erzeugt so als Benutzer seine eigene, übersichtliche Unterteilung des Objektes, wie man sie zur Bearbeitung seiner Aufgabenstellung bevorzugt.
Die unterste Stufe im Objektgraphen ist nicht etwa beim einzelnen Geometriepunkt, sondern beim kleinsten, nicht weiter zerlegbaren Objekt, wie etwa der einzelnen Schraube, erreicht.

Objektfenster

Das Objektfenster umschließt als feiner, im Raum schwebender 2D-Rahmen mit transparentem Inhalt ein Objekt bzw. ein Unterobjekt (dann mit einem sprechblasenartigen Verweis auf seinen Herkunftsort im Vaterobjekt). Es ist frei skalier- und positionierbar, besitzt aber auch eine eigene Dynamik: Das aktivierte Fenster bewegt sich flüssig automatisch in den Vordergrund und nimmt einen größtmöglichen Platz ein, während sich inaktive Objektfenster verkleinert entlang einer Diagonale (rechts oben nach links unten) verkleinert zurückziehen. Es können auch mehrere Objekte verschiedener Hierarchiestufen gleichzeitig aktiviert sein.

Aktive Objektfenster

Objektdarstellung

Das Objekt wird wie in gängigen 3D-Editoren nach Belieben als reines Gittermodell oder geshadet dargestellt. Es können Punkte, Kanten, oder Unterobjekte grafisch hervorgehoben werden. Reicht das Objekt aufgrund der Zoomstufe über die momentane Fenstergröße hinaus, so wird es an den Fensterkanten visuell abgeschnitten.

Zeitleiste

Bei Zeitverlauf-basiertem Arbeiten, wie es bei einer Crash-Simulation der Fall ist, wird am unteren Fensterrand der aktiven Objekte eine Zeitleiste angezeigt, mit der der Zeitpunkt der Betrachtung ausgewählt oder auch ein Verlauf abgespielt werden kann.
Interessante Zeitpunkte kann man visuell ,bookmarken', indem man an der gewünschten Zeitstelle eine Schnappschussaufnahme aus der Zeitleiste herauszieht.
Möchte man die zeitliche Entwicklung an mehreren Unterobjekten vergleichen, so kann man mehrere Fenster miteinander verknüpfen. Eine Veränderung an einer der Zeitleisten wirkt sich dann auf die verknüpften Objekte aus.

Physikalische Lasten

Die vielfältigen physikalischen Lasten sind meist punktbezogen, d.h. für jeden Geometriepunkt einzeln definiert. Daher wäre eine Auflistung aller Eigenschaften im Kontext des Objekts überdimensioniert. Anstelle dessen können entweder einzelne Lastwerte aus der Lastenbibliothek für das gesamte Objekt angezeigt werden oder alle Lastwerte für einzelne Punkte angezeigt werden.

Direkt am Objekt

Zur grafischen Darstellung einzelner Lastwerte direkt am Objekt stehen verschiedene Darstellungsmodi am Fensterrand bereit. Dort kann man per ,drag & drop' die gewünschten Informationsparameter aus der Lastenbibliothek ablegen, die dann als Falschfarben, Vektoren oder Zahlwerte direkt am Objekt dargestellt werden.

Indirekt im Informationsfenster

Zur Anzeige mehrer Lastwerte indirekt im Informationsfenster stehen Darstellungsmodi wie Balkendiagramm, 3D-Graph, Tabelle o. ä. am Fensterrand bereit. Werden dort Parameter aus der Lastenbibliothek abgelegt, wird die gewünschte Information im sich öffnenden Informationsfenster dargestellt.

Material- und Leuchteigenschaften

Jedem in der Hierarchie zuunterst stehenden Objekt (siehe ,Objektgraph') ist ein Material aus der Materialbibliothek zugeordnet, und, falls es sich um eine Lampe handelt, ein Leuchtmittel aus der entsprechenden Bibliothek.
In der Materialliste des Objektfensters sind nun die im dargestellten Objekt enthaltenen Materialien aufgelistet, und können vor Ort betrachtet und verändert werden. Die Veränderung des Materials wirkt sich auf alle Objekte, die mit diesem Material ausgestattet sind, aus. Möchte man nur das Material des aktuellen Objekts anpassen, so kann man an dieser Stelle ein neues Material auf Basis des alten für dieses Objekt erstellen.

Inaktive Objektfenster

Um den visuellen Unrat zu minimieren, werden die Objekte in inaktiven Fenstern auf ein miniaturisiertes Foto reduziert und gedämpft. Das Fenster verliert seinen weißen Rahmen und wird leicht transparent weis gefüllt.

Informationsfenster

Das Informationsfenster dient der Darstellung und ggf. Veränderung von physikalischen Lastenwerten und bei Bedarf Materialwerten auf vielfältigste Weise. Sie können wie oben beschrieben mit Hilfe der Lastenbibliothek und der indirekten Darstellungsmodi am Objektfenster aktiviert werden.
Ein Informationsfenster enthält eine oder mehrere Informationsdarstellungen und ist immer einem Objektfenster zugeordnet. So reagiert es auch auf eine Veränderung in der Zeitleiste des Objektfensters.
Solche Informationsdarstellungen können jeweils einen oder mehrere Parameter umfassen und die Form einer Tabelle oder auch mehrdimensionaler Graphen und Diagramme annehmen. Jedes denkbare Informationsdesign ist hier erlaubt.

Bibliotheken

Material- und Lichtbibliothek

Die globale Materialbibliothek enthält alle im Gesamtobjekt bzw. im Projekt definierten Materialien und kann auf Wunsch eingeblendet und bearbeitet werden.
Eine Materialbeschreibung wie z.B. ,weißes Büffelleder' wird durch zahlreiche physikalische Parameter definiert.
Die Bibliothek ist hierarchisch gegliedert wie z.B. ,Innenausstattung' vs. ,Flugzeugrumpf' oder ,Metalle' vs. ,Kunststoffe' und auf unterster Ebene etwa ,Furnierholz RAL 3700 AZ-374'.
Jedem Material ist eine Liste mit Verweisen auf die zu ihm zugehörigen Objekte der Szene zugeordnet, so dass man schnell Veränderungen vornehmen und Auswirkungen überprüfen kann.

Lastenbibliothek

Die Lastenbibliothek enthält alle möglichen für einen Geometriepunkt zu definierenden Lasten, in gegliederter Form. Ist ein Geometriepunkt eines Objektes ausgewählt, so werden hier seine Lastenwerte angezeigt und können auch hier verändert werden. Sind mehrere ausgewählt, so wird der Durchschnittswert angezeigt.
Auch kann man hier einen oder mehrere Lastenwerte per ,drag & drop' aufnehmen und auf einen der Visualisierungsmodi im Objekt- bzw. Informationsfenster fallen lassen, im ihn sich auf die gewünschte Weise darstellen zu lassen.
Auch hier wäre es ggf. möglich, wiederkehrende ,Lastenmuster' ähnlich den Materialien vorzudefinieren und auf Objekte anzuwenden.

Verknüpfungen

Mit Hilfe von Verknüpfungen zwischen Objektfenstern kann man diese miteinander vergleichen. Jede Veränderung in der Zeitleiste oder der Perspektive, der Zoomstufe etc. des einen Objekts wird mit den verknüpften Objekten synchronisiert.

3 Bedienung

Die Bedienung in der CAVE erfolgt durch Gesten mit der rechten Hand sowie durch ein speziell entwickeltes Tool in der linken Hand.
Die Gesten unterscheiden sich in der Anzahl der verwendeten, d.h. ausgestreckten Finger. Der Datenhandschuh besitzt ein ,force-feedback'-System zur Rückmeldung von virtuellen Berührungen.

Programmbedienung

Die Bedienung des Programms, d.h. die Bedienung der Fensterrahmen, der Bibliotheken, der Zeitleiste etc. (also allem, was nicht das Objekt unmittelbar betrifft) erfolgt mit dem Zeigefinger, während die restlichen Finger eingezogen bleiben.
Wird der gekrümmte Zeigefinger erhoben, reagieren mögliche Schaltflächen mit einem leichten ,mouse-over'-Effekt, so bald man in ihre Nähe gerät; der gestreckte Zeigefinger entspricht dem Auswählen dieser Schaltfläche bzw. dem Ausführen der Aktion.

Umgang mit dem Objekt

Navigation

Die Navigation im 3D-Raum erfolgt grundsätzlich durch die Bewegung des eigenen Körpers, soweit es die reellen physikalischen Grenzen (Dimension der CAVE, Körperflexibilität) erlauben.
Bewegt man sich mit dem eigenen Körper, so bleiben die betrachten Objekte in den Objektfenstern an ihrem Platz, während sich die Objektfenster selbst (d.h. im Wesentlichen deren Rahmen) sowie die Bibliotheken sich mit dem Betrachter mitbewegen und sich also wie auf einer Glasscheibe, die fest am Betrachter fixiert ist, verhalten. Dies ermöglicht eine gewisse explorative Haltung zum Objekt, da man es von allen Seiten und Entfernungen durch die Veränderung der eigenen Position betrachten kann. Und das, ohne das Interface dabei zu verlieren.

Für jede darüber hinaus gehende Navigation kommt das Navigations-Tool in der linken Hand zum Einsatz. Je nach Modus hat die Navigation mit dem Tool eine unterschiedliche Bedeutung (zur Erklärung der Modi siehe "Kontextualisierung bei der Objektbehandlung"):

Emersionsmodus

Die Navigation mit dem Tool wirkt sich hier auf das dargestellte Objekt im (aktiven) Fenster aus. Rollt man die Kugel nach rechts, dreht sich das Objekt um den Mittelpunkt seines Fensters nach rechts. Drückt man die Zoom-Taste nach vorn, so vergrößert sich das Objekt innerhalb seines Fensters, etc.
Die relative Position des Betrachters zum Objektfenster verändert sich jedoch nicht.

Immersionsmodus

Im Immersionsmodus sind die Objektfenster fest in ihrem Raumkontext verankert. Da dadurch die Entfernungen zum Betrachter in alle Richtungen recht groß sein können, dient das Tool hier der Navigation des eigenen Körpers, also der Betrachterposition im Raum. Das Herein-Zoomen bewirkt eine Vorwärtsbewegung im Raum, das Drehen der Kugel erzeugt eine Rotation des Raums um den Betrachter im Mittelpunkt etc.

Selektion

Die Selektion von Teilen eines Objekts erfolgt mit Greif-Gesten der rechten Hand. Es sind drei Greifgesten zu unterscheiden, die jeweils einen unterschiedlichen Detaillierungsgrad bedeuten: Daumen + Zeigefinger bedeuten ein feines Detail; Daumen + Zeige- und Mittelfinger ein mittleres Detail; Daumen + alle vier Finger ein grobes Detail.
Jede Greifgeste besitzt zwei Zustände: mit dem geöffneten Zustand deutet der Benutzer dem Interface seinen gewünschtes Vorhaben an (ähnlich dem gekrümmten Zeigefinger bei der Programmbedienung), mit dem geschlossenen Zustand wird die Selektion ausgeführt.
Die Detailstufen sind immer im Kontext des aktiven Objekts zu sehen: Je nach Komplexität dieses Objektes kann ein feines Detail einen einzelnen Geometriepunkt bedeuten oder auch einen kompletten Flugzeugsitz. Welche Unterobjekte das in der konkreten Situation sind, wird dem Benutzer angezeigt, sobald er eine der drei Gesten im geöffneten Zustand in Richtung des Objektes erhebt. Sie werden dann grafisch hervorgehoben.

Manipulation

Die Manipulation von Material- und Leuchteigenschaften kann in den jeweiligen Paletten vorgenommen werden. Die Manipulation der Lastenwerte erfolgt ebenfalls in der entsprechenden Palette oder im Informationsfenster, in dem der Lastenwert angezeigt wird (am einfachsten in der Tabellendarstellung).
Eine Manipulation der Geometrie ist nicht vorgesehen.

4 Funktionalitäten

Kontextualisierung von Objekten

Das Interface besitzt grundsätzlich zwei verschiedene Modi. Die unterschiedliche Navigation ist im Teil "Navigation" beschrieben.

Das Wechseln zwischen beiden Modi geschieht durch einen Knopf am Navigations-Tool.

Emersion

Der Emersionsmodus (Emersion = das Auftauchen) dient der losgelösten Behandlung einzelner Objekte. Sie werden aus dem Kontext ihrer Umgebung herausgelöst behandelt, die betrachteten Objekte schweben in der Luft. Die Arbeit ähnelt der am Seziertisch, der Benutzer befindet sich außerhalb des Objekts. Dieser Modus ist hilfreich bei der intensiven Auseinandersetzung mit dem einzelnen Objekt, beispielsweise bei Belastungstests oder Materialanalysen.

Immersion

Der Immersionsmodus (Immersion = das Eintauchen) dient der Betrachtung der Objekte im Kontext ihrer Umgebung. Dieser Modus nutzt den Realismuseffekt der VR-Umgebung aus. Der Betrachter befindet sich hierbei in der Szene/der virtuellen Welt, ist umgeben von ihr.
Das bedeutet, dass die ausgewählten, d.h. von einem Objektfenster umschlossenen, Objekte fest im Raum, also ihrem Kontext, verankert sind. Man muss sich zu ihnen hin bewegen, falls man sie näher untersuchen möchte. Das Programminterface wandert aber mit dem Betrachter mit.
Der Kontext, in dem ein Objekt betrachtet wird, ist hierbei frei wählbar aus den Vaterobjekten dieses Objekts im Objektgraphen. So kann eine Flugzeugsessellehne im Kontext des ganzen Flugzeugs betrachtet werden, oder auch nur im Kontext des Sessels.
Dieser Modus ist insbesondere für die Überprüfung des Raumgefühls sowie für Beleuchtungs- und Farbeinstellungen äußerst hilfreich.

Vergleiche

Die vergleichende Betrachtung mehrer Objekte ist möglich, indem man sich die gewünschten Objekte über den Objektgraphen herauslöst und diese dann miteinander verknüpft. Alle Aktionen des Untersuchens und Veränderns wirken sich dann auf die verknüpften Objekte aus.

Messungen

Zu jeder Zeit ist es durch die Auswahl einzelner Objekte möglich, deren physikalisch-technische Werte mittels der Paletten und des Informationsfensters abzulesen, auch vergleichend und entlang eines Zeitverlaufs. Aufwändigere Berechnungen, etwa der Luftströmung oder Lichtverteilung, werden als Spezialfälle angesehen und sind als Erweiterungen des Interfaces zu entwickeln.

III Beispiel eines Handlungsablaufs

Der folgende Ablauf illustriert beispielhaft die Selektion eines Teilobjektes vom Gesamtobjekt ausgehend sowie den Wechsel zwischen Emersions- und Immersionsmodus.

Die prototypische Gestaltung der Grafiken entstand zu einem Zeitpunkt, da die obige Ausarbeitung noch nicht vollständig war. Daher sind hier einige wichtige Aspekte aus dem Konzept noch nicht enthalten.

Das Copyright der verwendeten Objekt-Fotografien liegt bei den Fotografen.

Zunächst liegt das dreidimensionale Gesamtobjekt vor uns, eingerahmt von Informationspaletten.

Der Benutzer deutet den Wunsch der Auswahl eines groben Teilobjekts an. Die möglichen Optionen werden umrandet dargestellt.

Durch das Zugreifen auf eine dieser Teilobjekte wird es selektiert.

Eine leichte Ziehbewegung der geschlossenen Hand extrahiert das Teilobjekt und lässt das Vaterobjekt in den Hintergrund gleiten.

Für die Auswahl des groben Teilobjektes "Sitz" wiederholt sich die Prozedur.

Zur Auswahl eines kleineren Teilobjekts des Sitzes zoomt der Benutzer mittels des Navigations-Tools in seiner linken Hand in das aktuelle Objekt hinein.

Nun kann er mit der angedeuteten mittleren Selektionsgenauigkeit das Kippgelenk des Sitzes selektieren.

Möchte er das selektierte Objekt mit einem ähnlichen Objekt vergleichen so wählt er einfach analog zur obigen Prozedur ein zusätzliches Objekt, ausgehend von einer beliebigen Hierarchistufe, aus und zieht es in den Vordergrund.

Zum Wechsel in den Immersionsmodus wählt der Benutzer das gewünschte Kontext objekt aus und betätigt den Knopf am Navigations-Tool.

Im Immersionsmodus sind die selektierten Objekte nun an ihrem Ort im Kontextobjekt fest verankert, hier die beiden Gelenke der Sitze im Kontext der Kabine.