Google wird dem KI-ChatBot Gemini schon bald neue Möglichkeiten spendieren, die die Interaktivität umkehren – nämlich die Steuerung des Geräts durch die KI. Jetzt gibt es deutliche Hinweise auf diese Integration in der aktuellen Android 16 QPR3. Das Ganze nennt sich „Screen Automation“ und gibt Gemini die Möglichkeit, ausgewählte Apps vollkommen selbständig zu steuern.
Google gibt Gemini das Ruder in die Hand bzw. will den Nutzern bald die Möglichkeit bieten, einige Aufgaben an den KI-ChatBot auszulagern. Schon seit längerer Zeit ist bekannt, dass mit „Gemini Computer Use“ Geräte ferngesteuert werden sollen und kürzlich wurde das Gemini Auto Browse in Google Chrome eingeführt, mit dem sich Web-Apps fernsteuern lassen. In Kürze kann das Ganze auch lokal auf Android-Smartphones angeboten werden.
Die neue Funktion nennt sich Screen Automation und gibt Gemini die Möglichkeit, die gesamte Smartphone-Oberfläche und viele Apps vollkommen eigenständig zu steuern. Als Smartphone-Nutzer schaut man zu, wie Gemini Aktionen ausführt. Die Nutzer haben laut Google jederzeit die Möglichkeit, einzugreifen und die Kontrolle zu übernehmen. Jeder Tap auf das Display durch den Nutzer dürfte die Gemini-Automatik wohl pausieren oder stoppen, sodass ein schnelles Eingreifen jederzeit möglich – und auch erforderlich – ist.
Ein Teardown der aktuellen Android 16 QPR3 Beta enthält Strings wie „Get tasks done with Gemini“. Außerdem sind Strings durchgesickert, die zeigen, dass das Gemini-Team die für diese Aufgabe angefertigten Screenshots analysieren darf („When Gemini interacts with an app, screenshots are reviewed by trained reviewers and used to improve Google services if Keep Activity is on.“). Daraus folgt, dass man überlegen sollte, was man Gemini aufgibt („Don’t enter login or payment information into Gemini chats. Avoid using screen automation for emergencies or tasks involving sensitive information.“).
Google gibt an, dass die Verantwortlichkeit jederzeit beim Nutzer liegt, daher sollte man Gemini nicht unbeaufsichtigt tippen lassen. Wozu man eine solche Funktion konkret nutzen könnte, erschließt sich mir persönlich gerade nicht. Aber Google wird schon gute Gründe finden, um die Nutzer davon zu überzeugen.
Letzte Aktualisierung am 2026-01-31 / Bilder von der Amazon Product Advertising API / Affiliate Links, vielen Dank für eure Unterstützung! Als Amazon-Partner verdiene ich an qualifizierten Verkäufen.