Ziel des Projekts

Ziel des Projektes MAL ist es, ein technisch unterstütztes multimodales Algebra-Lernsystem zu entwickeln, das natürliche Modalitäten (Inskription, Gesten, Sprache) bei der Interaktion mit digital unterstützen Lernarrangements einbezieht. Die Lernarrangements sollen vom Lehrpersonal unabhängig machen und können für einzelne Lernende oder auch Lerngruppen gedacht sein. Dazu erfasst das System den Lernstand und passt Modalitäten und Aufgaben darauf an.
Kern des multimodalen Lernsystems sind begreifbare Lernelemente in der Form von Smart Objects (z.B. in Kachelform), die diverse Algebra-Konzepte verkörpern können, etwa Zahlen (Einer-, Zehnerpotenzen) oder Variablen (vgl. die im nordamerikanischen Schulsystem weit verbreiteten Algebra Tiles). Sie ermöglichen die Erfahrung von abstrakten Elementen als greifbare, physische Größen. Sinnzuweisung erfolgt je nach Lernarrangement und insbesondere durch räumliche Anordnungen. Dabei sind diese Elemente „intelligent“ in dem Sinne, dass sie ihre Lage im Raum und zueinander kennen und einfache visuelle und akustische Ausgabe unterstützen, etwa Farbwechsel um die Zugehörigkeit zu Gruppen zu kennzeichnen. Der Interaktionsraum, in dem diese Objekte eingesetzt und gelegt werden – etwa eine Tischoberfläche, wird zusätzlich ergänzt durch eine großflächige visuelle Ausgabe. Diese kann die Smart Objects unterstützen (Markierung von Regionen zur Betonung von Zugehörigkeit, symbolische oder grafische Anzeige zur Verdeutlichung von Relationen, Hinweise zur Positionierung, Feedback zur Eingabe) sowie textuelle wie grafische Aufgabenbeschreibungen anzeigen. Die haptisch-physische Interaktion wird durch eine Erkennung von Oberflächengesten und Raumgesten der Hände zur Unterstützung dieser Modalität erweitert. Handgesten können ergänzende Funktionen haben aber auch die Hauptmodalität in bestimmten didaktischen Anwendungen bilden, etwa zur gestischen Erschließung von Relationen und Proportionen (vgl. Abrahamson & Trninic 2015) wie z.B. bei Prozentangaben, proportionalen Funktionen, Bruchteilen aber auch Steigungsmaßen von Funktionen. Durch Integration der Modalitäten (intelligente Objekte werden erkannt bzw. mit ihnen kommuniziert) kann die haptische Erfahrung von Elementen unterstützt werden, etwa um Objekte zuzuordnen oder Operationen auf ihnen zu definieren. Mit der Kombination der Objekt- und der Oberflächenmodalitäten werden so die Vorteile beider Interaktionsformen kombiniert und die Nachteile (geringere Flexibilität bzw. mangelnde Haptik) ausgeglichen.