Google Research beschreibt mit AgentHands einen XR-Forschungsprototypen, der einem konversationellen Agenten räumlich bezogene Handgesten passend zur gesprochenen Antwort hinzufügt. Laut Google zeigte ein Within-Subjects-Vergleich mit 12 Teilnehmenden Vorteile gegenüber einer Variante, die nur Sprache nutzte – unter anderem beim Verstehen von Orten, Handlungen und Warnungen.
So soll AgentHands funktionieren
Nutzende können physische Gegenstände per Blicksteuerung und Szenenrekonstruktion markieren. Dadurch entsteht nach Angaben von Google ein räumliches Register mit 3D-Begrenzungsrahmen, auf das der Agent Bezug nehmen kann – etwa bei einer Orchidee oder einem Laptop.
Auf eine Anfrage hin erzeugt das Backend-LLM eine Antwort mit eingebetteten „GestureEvents“. Diese Ereignisse sind an bestimmte Triggerwörter gekoppelt und beschreiben die Bausteine der jeweiligen Handbewegung.
Die Gestenbibliothek umfasst drei Kategorien: deiktische Gesten zum Verweisen, ikonische Gesten zur Darstellung von Formen oder Handlungen sowie Ausdrucksgesten für soziale Signale und Emotionen. Ein lokaler Parser auf dem XR-Headset stimmt die Sprachsynthese und Animationsengine mithilfe von Zeitstempeln auf Wortebene ab.
Studie: Vorteile gegenüber Sprache allein
Google verglich AgentHands in einer Within-Subjects-Studie mit 12 Personen mit einer sprachbasierten Referenzvariante. Dem Blogbeitrag zufolge schnitt AgentHands bei Ortsverständnis, Verständnis von Handlungen und der Wahrnehmbarkeit von Warnungen signifikant besser ab.
Teilnehmende konnten demnach Objekte und vom Agenten genannte Richtungen leichter finden; Google berichtet hierfür ein Signifikanzniveau von p < 0,05. Auch die auszuführenden Aktivitäten seien mit AgentHands leichter nachzuvollziehen gewesen (p < 0,05).
Die Befunde stammen jedoch aus einer kleinen Studie und aus der Darstellung des entwickelnden Unternehmens. Der vorliegende Dossierauszug nennt weder die genaue Aufgabenverteilung noch Effektgrößen, Studiendauer oder Details zur Zusammensetzung der Teilnehmenden. Daher lässt sich die Übertragbarkeit auf andere XR-Anwendungen oder den Alltag daraus nicht beurteilen.
Ein Forschungsprototyp, kein angekündigtes Produkt
AgentHands wurde laut Google bei CHI 2026 veröffentlicht. Die Arbeit wurde nach Angaben des Unternehmens überwiegend von Ziyi Liu während einer Tätigkeit als Student Researcher bei Google durchgeführt und entstand als Zusammenarbeit mehrerer Teams.
Google bezeichnet AgentHands ausdrücklich als Forschungsprototyp. Eine Verfügbarkeit für Nutzende, ein Produktstart oder eine konkrete Integration in Android XR wird im vorliegenden Material nicht angekündigt.
Für das Android-XR-Ökosystem untersucht Google nach eigener Aussage eine stärkere Personalisierung: Gesten könnten sich künftig etwa an der dominanten Hand oder an individuellen räumlichen Routinen orientieren. Das ist eine Erkundung, keine bestätigte Produktfunktion.
Wie es weitergeht
Entscheidend wird sein, ob Google detailliertere Studienergebnisse veröffentlicht, die Resultate mit größeren und vielfältigeren Gruppen überprüft und aus dem Prototypen eine konkret angekündigte Android-XR-Funktion macht.
Änderungsvermerk: Erstfassung auf Grundlage eines Google-Research-Blogbeitrags als einziger Primärquelle.