Pixel 10: Das sind die neuen magischen KI-Funktionen -‚Magic Cue‘ liefern proaktiv Infos und Aktionen (Videos)

 

Für den Start der Pixel 10-Smartphones hat man sich bei Google wieder neue KI-Funktionen einfallen lassen, die den digitalen Alltag der Nutzer erleichtern sollen – in dieser Ausgabe sind es die Pixel Magic Cues. Diese lokale KI liefert proaktiv Informationen und Funktionen, bevor der Nutzer selbst nach diesen suchen kann. Wir zeigen euch, wie das funktioniert.

Die Künstliche Intelligenz spielt auf den Pixel 10-Smartphones natürlich eine große Rolle, immerhin werden sie von Google auch als „KI-Smartphones“ beworben und sollten dem gerecht werden. Für den seit mittlerweile zwei Jahre erwarteten KI-Assistenten Pixie hat es auch in dieser Generation wieder nicht gereicht, aber stattdessen bekommen wir die „Magic Cues“, die in eine ähnliche Richtung stoßen und ebenfalls lokal agieren.

Bei „Magic Cues“ handelt es sich nicht um eine primär genutzte App, sondern um ein neues Framework, das bestimmte Apps und Oberflächen überwacht. Sobald das Bedürfnis nach Informationen auftaucht, sei es durch eine aktive Nutzung oder in Messenger-Apps durch die Nachfragen eines Kontakts, kann sich Magic Cues einklinken und diese proaktiv anbieten. Magic Cues wird die Frage erkennen, den Kontext und sich aktiv in Apps wie GMail, Google Fotos oder Google Drive auf die Suche machen, ob die gewünschten Informationen vorhanden sind. Sind sie es, wird es zum Einfügen angeboten.

Google betont, dass Magic Cues vollständig lokal arbeitet und daher keine Daten an Google weitergegeben werden. Möglich macht das der neue Gamechanger SoC Tensor G5. Allerdings gilt das nur für die Auswertung der Anfrage, denn weil die Suche in den Cloud-Apps stattfindet, gibt es dort natürlich Spuren von den Anfragen. Von absoluter „Privatsphäre und Sicherheit“, wie Google es verspricht, kann also keine Rede sein. Schauen wir uns einmal an, wie das Ganze funktioniert:

Reisevorbereitungen vereinfachen

Angenommen, ihr müsst eure Fluggesellschaft anrufen, um euren Sitzplatz zu ändern. Magic Cue kann die Flugdetails aus eurem Reiseplan in Gmail direkt in den Anruf einblenden, sodass ihr alle Informationen sofort zur Hand habt, wenn sie benötigt bzw. von der Hotline abgefragt werden. Auf obigem Screenshot könnt ihr sehen, dass Magic Cue den Zusammenhang ganz von selbst herstellt.

Wenn ihr die Pixel Wetter-App öffnet, während ihr packt, zeigt sie euch das Wetter an eurem Zielort basierend auf eurem Reiseplan an, sobald euer Reisedatum näher rückt. Die App kann euch auch relevante Outdoor-Events – wie ein Picknick oder ein Baseballspiel – aus eurem Gmail oder Kalender abrufen, damit ihr wisst, für welche Aktivitäten ihr packen solltet.

Magic Cue liefert proaktiv Details und Infos

Wenn jemand nach Details zu einer Tischreservierung fragt, kann Magic Cue den Ort und die Uhrzeit aus eurem Kalender oder einer Bestätigungs-E-Mail abrufen. Diese Informationen werden als einfacher Vorschlag direkt in eurer Messaging-App angezeigt. So müsst ihr nicht lange nach den Infos suchen und könnt eure Freunde ganz einfach auf dem Laufenden halten. Obiges Beispiel zeigt eine ähnliche Situation, bei der sogar der Kontext erkannt wird, ohne dass dieser genannt werden muss. Natürlich sollte man in diesem Fall aufpassen, falls es Doppeldeutigkeiten oder mehrere Varianten und Adressen zum Einfügen gibt.

Als weiteres Beispiel gibt man an, dass euch ein Freund in Google Messages nach der Flugnummer eures anstehenden Fluges fragt. Die Magic Cue-KI wird die Frage erkennen, den Informationsbedarf erkennen und auch bemerken, dass es sich um einen Freund und nicht um eine unbekannte Nummer handelt. Also macht sich die KI auf die Suche im GMail-Archiv, findet das Ticket, exportiert die Nummer und bietet diese über einen eingeblendeten Chip zum sofortigen Einfügen an.

Magic Cue findet eure Fotos

Wir alle kennen das: Eine Person fragt nach einem bestimmten Foto und ihr scrollt endlos durch eure Galerie oder die Google Fotos-App. Ganz egal ob es um „das Bild aus dem Park letzte Woche“ oder einen Screenshot von einem Rezept geht – oft muss man längere Zeit suchen. Doch Magic Cue soll die Anfrage verstehen und sehr gezielt auf die Suche nach dem richtigen Bild gehen, sodass ihr es recht schnell teilen könnt.

Damit soll sich die Konversation nicht endlos lang unterbrechen lassen bzw. ihr werdet es nicht vergessen, dem Kontakt später mit den entsprechenden Bildern zu versorgen. Dabei kommt mutmaßlich die Ask Google Photos-Funktion zum Einsatz, die genau so etwas bieten kann. Wie das im Detail mit Magic Cues funktioniert, hat man leider noch nicht gezeigt.

—
Damit das alles funktioniert, soll Magic Cue auf die folgenden Apps zugreifen können: Google Kalender, Google Chrome, Google Kontakte, Google Docs, Google Files, GMail, Google Notizen, Google Maps, Google Messages, Google Telefon, Google Fotos, Google Journal, Google Rekorder, Pixel Screenshots, Google Wallet, YouTube, YouTube Music

[Google-Blog]

---

---