The Human-Centered Interfaces Research Group logo in a collage showing a learning group, a handheld device, a remote control for Interactive Digital Television and a Braille reader

Offene Arbeiten  Laufende Arbeiten  Abgeschlossene Arbeiten

Diplom- und Studienarbeiten

Offene Arbeiten

Autorenwerkzeug für das Design und die Entwicklung multimodaler Kommandos

Multimodale Benutzungsschnittstellen bilden ein noch relativ junges und offenes Gebiet im Bereich der Mensch-Maschine-Kommunikation. Man spricht von Multimodalität, wenn mehr als eine Modalität für die Interaktion zwischen Menschen und Maschinen, oder etwas eingeschränkter Computern oder ähnlichen Systemen, verwendet werden kann.

In der Psychologie bezeichnet der Begriff Modalität die Art, wie in einem bestimmten Sinnesbereich eine Erscheinung wahrgenommen wird. Sinnesmodalitäten sind z.B. das Sehen, das Hören oder die taktile Sensorik. Im technischen Bereich wird der Begriff der Modalität feiner granuliert verstanden, wobei bezogen auf die verschiedenen Sinnesmodalitäten bestimmte Formen der Interaktion zwischen Mensch und Computer als Modalität bezeichnet werden. Beispiele für (technische) Modalitäten sind u.a. Spracheingabe und –ausgabe, Gestenerkennung oder Handschrifterkennung.

Multimodale Systeme müssen Eingaben von verschiedenen Modalitäten verarbeiten. Zum einen können alternative Eingaben über unterschiedliche Modalitäten erfolgen – ein Markieren mit der Maus hat dann die selbe Semantik wie die Spracheingabe „Markiere“ – oder die einzelnen Eingaben ergeben ein kombiniertes Kommando. Ein einfaches Beispiel für ein kombiniertes Kommando ist das Markieren mehrerer Objekte unter Windows: Durch das Gedrückthalten der Strg-Taste werden alle durch die Maus gewählten Objekte markiert und können dann gemeinsam bearbeitet oder verschoben werden.

Der Einbezug mehrerer Modalitäten führt in der Folge zu einer sehr hohen Komplexität bei der Softwareentwicklung, da kaum Entwicklerwerkzeuge zur Verfügung stehen. Zudem erfolgt die Modellierung von multimodalen Kommandos noch immer auf einem sehr niedrigen Abstraktionsniveau. Ziel dieser Arbeit ist daher die Entwicklung eines Werkzeugs, das den Softwareentwickler

  • ein grafisches Design,
  • eine darauf aufbauende einfache Implementierung und
  • ein schnelles Testen

von multimodalen Kommandos erlaubt.

Das Werkzeug soll als Visual Studio .NET 2005 Plugin entwickelt werden und das SAMMI Framework in den Entwicklungsprozess integrieren. SAMMI ist ein Framework für die Entwicklung von multimodalen Anwendungen, das derzeit am HCI-Lehrstuhl entwickelt wird.

Bei Fragen bitte an Thorsten Völkel wenden.

 

Modellierung langfristiger Interaktionstechniken

Klassische Interaktionstechniken basieren im Allgemeinen auf einem kurzen Zyklus zwischen den Aktionen des Benutzers, die zu Systemeingaben und den Systemrückmeldungen führen. Dieser Zyklus wurde bereits 1986 von Norman beschrieben: Ausgehend von einem Ziel formuliert der Benutzer dabei Aktionen, die durch die Ausführung zu Systemeingaben führen. Nachdem das System eine Rückmeldung generiert hat, evaluiert der Benutzer das Ergebnis und passt gegebenenfalls seine Ziele und dementsprechend seine Aktionen an. Normans Modell ist in der folgenden Abbildung grafisch dargestellt.Norman model of interaction cycle

Bei der Betrachtung von langfristigen Interaktionen wird der kurze Zyklus von Benutzereingabe und Systemausgabe durchbrochen, da sich die Systemausgabe außerhalb des Zeitraums befindet, die durch das menschliche Kurzzeitgedächtnis abgebildet werden kann. Dieses Problem wird von A. Dix als „broken loop of interaction“ bezeichnet.

Ziel dieser Arbeit ist es, ein temporales Modell für langfristige Interaktionstechniken zu entwickeln, die es Designern und Softwareentwicklern ermöglichen, in ihren Applikationen langfristige Interaktionen zu modellieren und zu implementieren. Basierend auf dem zu entwickelnden Modell soll eine Beispielanwendung aus dem Bereich iTV implementiert werden.

Das interaktive Fernsehen beinhaltet neben den klassischen, kurzfristigen Interaktionstechniken, etwa zur unmittelbaren Steuerung einer Anwendung, eine Reihe von Anwendungsfällen langfristiger Interaktion. Die Programmierung und Personalisierung elektronischer Programmführer durch den Benutzer enthält beispielsweise unterschiedliche Szenarien, die langfristige Interaktionstechniken erfordern. Dies können in der Zukunft liegende Sendungen sein, auf die kurz vorher hingewiesen wird, oder auch Spielfilme von denen noch nicht feststeht ob, wann und auf welchem Kanal sie gesendet werden. Hier soll das entwickelte temporale Modell angewendet werden, um dem Zuschauer über längere Zeiträume die Kontrolle über alle Aktivitäten zu ermöglichen.

Bei Fragen bitte an Christoph Haffner oder Thorsten Völkel wenden.

Laufende Arbeiten

Yasin Taskin: Adaptierbare Visualisierung und interaktive Navigation serverseitiger Projektpläne unter Verwendung der Scalable Vector Graphics (SVG). Diplomarbeit in Zusammenarbeit mit der Firma PPI Financial Systems GmbH Kiel.

Peer Neumann: Ein Test-Framework für Webapplikationen auf Basis eines Model-Driven Software Development (MDSD) Ansatzes. Diplomarbeit in Zusammenarbeit mit der Firma B&M Informatik AG Melsdorf.

Abgeschlossene Arbeiten

.
copyright 2005 Human-Centered Interfaces Research Group. All rights reserved.
Last published: 2005-09-01 10:01:35