Bewegungserkennung mit Wearables für Embodied Trainings in Serious Games

Heiko Holz 1 , Benedikt Beuttler 2 , Alexandra Kirsch 3 Graduiertenschule und Forschungsnetzwerk LEAD, Universität Tübingen 1 Lehrstuhl für Forschungsmethoden und Mathematische Psychologie, Universität Tübingen 2 Lehrstuhl für Mensch-Computer-Interaktion, Universität Tübingen 3

Zusammenfassung

Embodied Trainings -Übungen mit Ganzkörperbewegungen und Gesten -können das Lernen mit computergestützten Lernspielen für Kinder mit Lernschwächen effizienter und motivierender gestalten. In dem Lernspiel "

Silbenschwingen mit Betonung" nutzen wir die in Smartphones und Fitnessarmbänder eingebauten Accelerometer zur Bewegungs-und Gestenerkennung. Damit untersuchen wir die Möglichkeit, inwiefern solche Embodied Trainings auch für mobile Serious Games entwickelt werden können. Wir erreichen bei der Klassifizierung von Silbenschwüngen unter Einsatz von Dynamic Time Warping und nur einem Training pro Geste bei Erwachsenen eine Genauigkeit von 99.3 % und bei Kindern zwischen 82.2 % und 93.9 %. Die Ergebnisse zeigen, dass einfache Gesten wie Silbenschwünge zuverlässig erkannt werden können, verdeutlichen jedoch auch die Herausforderung bei der Entwicklung von Embodied Trainings für Kinder.

Einleitung

In der Lerntherapie können körperbetonte Übungen -sogenannte Embodied Trainings -lernschwache Kinder durch den Einsatz von (Ganzkörper-) Bewegungen zusätzlich fördern. Embodied Trainings zielen auf die Entwicklung körpereigener Gedächtnisstützen ab, bei denen der Lernprozess positiv durch Körperbewegungen und -erfahrungen beeinflusst wir. So kann der gelernte Inhalt später besser abgerufen werden [START_REF] Dackermann | Applying embodied cognition: from useful interventions and their theoretical underpinnings to practical applications[END_REF]. Für Kinder mit einer Lese-Rechtschreib-Schwäche (LRS) werden Embodied Trainings in vielen analogen Förderkonzepten erfolgreich eingesetzt Das Silbenschwingen ist eine dieser Fördermaßnahmen (Michel, 2008;[START_REF] Reuter-Liehr | Behandlung der Lese-Rechtschreibschwäche nach der Grundschulzeit: Anwendung und Überprüfung eines Konzeptes[END_REF]. Indem die Kinder den Sprachrhythmus von Worten schwingen (Abb. 1), wird durch ein gezieltes Training der Silbenanalyse eine Verbesserung der Lese-und Rechtschreibleistung erwartet. Um Embodied Trainings auch in mobilen Serious Games zu unterstützen, können Accelerometer verwendet werden, die in mobilen Geräten verbaut sind. Mit den Accelerometern können körperbasierte Interaktionen wie Bewegung oder Gestik erkannt und klassifiziert werden. Dennoch konnten wir beobachten, dass einigen Kinder Schwierigkeiten haben, Silben gemäß des Förderkonzepts zu schwingen: Betonte Silben wurden oft schwächer geschwungen als unbetonte oder waren kaum von diesen zu unterscheiden. Es ist nicht klar, ob dies an mangelhaftem Verständnis der Wortbetonung oder an fehlendem Feedback zur Schwungintensität liegt. Deshalb wurden sowohl alle 115 geschwungenen Wörter (𝐷1, 307 Silbenschwünge) als auch ein bereinigter Datensatz (𝐷2) evaluiert. 𝐷2 enthält nur die 95 Wörter (258 Silbenschwünge), bei welchen die Kinder das Betonungsmuster korrekt benannt haben und die betonte Silbe stärker oder nur geringfügig schwächer geschwungen wurde (𝑃 𝑒𝑎𝑘 𝑏𝑒𝑡𝑜𝑛𝑡 ≥ max 𝐴𝑐𝑐 -Θ 𝑃 𝑒𝑎𝑘 ). Ohne Berücksichtigung der Betonung wurden die Silbenschwünge mit einer Genauigkeit von 96.8 % für 𝐷1 und 97.7 % für 𝐷2 erkannt. Die Extrahierung der Silbenschwünge mit anschließender Klassifizierung der Betonung erreicht eine Genaugikeit von 83% (𝑀 = 82.8 %, 𝑆𝐷 = 13.8 %-Pkt.) für 𝐷1 und 94.6% (𝑀 = 93.9%, 𝑆𝐷 = 6.5 %-Pkt.) für 𝐷2.

Diskussion und Ausblick

Das vorgestellte System ist in der Lage, einfache Gesten wie Silbenschwünge zuverlässig zu erkennen. Bei Erwachsenen funktioniert dies mit Smartphones und Fitnessarmbändern. Kinder konnten sich aufgrund der Größe von Smartphones nur mit Fitnessarmbänder uneingeschränkt bewegen. Die Klassifikation der Silbenbetonung ist bei Erwachsenen ausreichend, während sie bei Kindern stark variiert. Die abweichenden Ergebnisse entstehen durch die im Nutzertest festgestellte Schwierigkeit, die Silben gemäß der Anleitung zu schwingen. Dies verdeutlicht drei wichtige Punkte, die bei der Entwicklung sensorgestützter Embodied Trainings für Kinder zu beachten sind: Erstens sollten Fitnessarmbänder aufgrund ihrer Größe und Tragekomfort verwendet werden. Zweitens müssen Systeme an die Bedürfnisse und das Verhalten der Kinder angepasst werden. Drittens darf von den Kindern das korrekte Ausführen der Gesten nicht vorausgesetzt werden, sondern muss verstanden und ausführlich trainiert werden. Insgesamt konnten wir feststellen, dass Embodied Trainings mit einfachen, körperbasierten Interaktionen für mobile Serious Games entwickelt werden können. Abhängig der Zielgruppe eignen sich unterschiedliche mobile Geräte, in denen ein Accelerometer verbaut ist. In Zukunft wollen wir die aufgedeckten Limitierungen durch eine bessere und intensivere Trainingsphase überwinden, welche direkt in das mobile Lernspiel integriert wird. Eine Figur aus der Spielwelt soll den Kindern ausführlich das Silbenschwingen erklären und direktes Feedback geben, ob die betonte Silbe ausreichend unterschiedlich geschwungen wurde.

  Abbildung 1: Das " Silbenschwingen mit Betonung" für das Wort " malen". Kinder lernen durch " Tanzen" des Sprachrhythmus' (Abb. 1a), Wörter zu silbieren und das Betonungsmuster zu bestimmen. Dabei sprechen sie jede Silbe deutlich aus, schreiten gleichzeitig seitwärts durch den Raum und schwingen mit der Schreibhand -für betonte Silben einen größeren, stärkeren und für unbetonte einen kleineren -Silbenbogen von der linken zur rechten Schulter. Abb. 1b zeigt das System zur Klassifizierung der Schwungbewegungen.