Interaktive Robotik in Medizin und Pflege

Dieses Projekt, das in Zusammenarbeit mit dem Joint Research Center on Cooperative and Cognition-enabled AI entstanden ist, zielt darauf ab, einem Roboter in der virtuellen Realität (VR) interaktiv Aufgaben beizubringen und diese letztendlich auch auf einem echten Roboter auszuführen. Dabei liegt der Fokus sowohl auf der Kommunikation und Interaktion mit dem virtuellen Roboter als auch auf der Fähigkeit, basierend auf erlerntem Grundwissen neue Aufgaben zu erlernen. Der Roboter soll in der Lage sein, von menschlichem Scaffolding zu lernen, besonders „wichtige“ Interaktionsepisoden zu erkennen und zu nutzen und Teile bekannter Handlungen für das Lernen neuer Aufgaben zu nutzen.

Dazu wurde in der VR ein digitaler Zwilling einer echten Wohnung erstellt. Sowohl in der digitalen als auch in der realen Wohnung befindet sich ein Roboter, dem die Aufgaben beigebracht werden sollen.

VR wird speziell verwendet, um den Menschen eine realitätsnahe Interaktion zu ermöglichen, ohne direkt mit dem echten Roboter interagieren zu müssen. Darüber hinaus kann der Roboter mithilfe von VR die Umgebung unabhängig von realen Sensoren wahrnehmen.

Zur  Erfassung und Repräsentation von Aufgaben werden sogenannte NEEMs verwendet. Dabei werden nicht nur die Bewegungen, sondern auch semantische Zusammenhänge aufgezeichnet. Dadurch können Aufgaben segmentiert und einzelne Teile für das Erlernen von zukünftigen Aufgaben genutzt werden. Fehlende Informationen sollen sowohl aus früheren Bewegungen als auch einer zugrunde liegenden Ontologie abgeleitet werden.

Für die Interaktion zwischen Mensch und Roboter können verschiedene Interaktionsvarianten genutzt werden, die im Rahmen dieses Projekts untersucht werden sollen. Dazu gehören sowohl herkömmliche Controller wie sie vielen Menschen bereits bekannt sind, als auch moderne Handschuhe, die echte Bewegungen präzise auf virtuelle Hände übertragen können und so eine realitätsnahe Simulation ermöglichen.

Im weiteren Verlauf des Projekts soll dem Roboter die Fähigkeit zur verbalen Kommunikation gegeben werden, sodass er in der Lage ist, fehlende Informationen, die nicht abgeleitet werden können, von den Nutzerinnen zu erfragen.  Dann können die Nutzerinnen durch Demonstrationen und Interaktionen diese Wissenslücken schließen und damit das Wissen des Roboters erweitern. Für die Verbale Kommunikation und die Detektion der Wissenslücken spielt außerdem das Projekt Modellierung des multimodalen Dialogs beim ko-konstruktiven Aufgabenlernen eine entscheidende Rolle.

Forschungsfragen

• Welches Steuerungsmedium ist am besten für das Roboterlernen beim ko-konstruktiven Aufgabenlehren geeignet?
• Wie kann die Qualität von NEEMs gemessen und evaluiert werden?
• Wie gut kann ein Roboter von NEEMs lernen?