Vor knapp einem Jahr hat die Videoplattform YouTube damit begonnen, Videos automatisch in die Zielsprache des Zusehers zu übersetzen – inklusive Tonspur und Stimmen-Imitation. Jetzt hat man angekündigt, diese Technologie weiter verfeinern zu wollen und setzt dafür auf eine Lip Sync-Technologie. Diese soll dafür sorgen, dass die Mundbewegungen zur Sprache passen.
Viele Nutzer sind genervt, einige sind begeistert und viele werden es vielleicht gar nicht bemerken: YouTube kann seit einigen Monaten Videos automatisch in die Zielsprache des Nutzers übersetzen. Das gilt sowohl für den Titel des Videos als auch die Untertitel sowie die Videobeschreibung und die Tonspur. YouTube lässt einen Dolmetscher drüberlaufen, blendet die Originalstimme aus und spielt stattdessen eine von der KI übersetzte und vorgelesene Tonspur.
Wer Videos eher nebenher schaut und die echte Stimme des YouTubers gar nicht kennt, wird das vielleicht gar nicht bemerken. Schaut man etwas genauer hin, wird man allerdings bemerken, dass die Mundbewegungen nicht mehr zur Aussprache passen. Das weiß man auch bei YouTube und führt schon bald für erste Nutzer und Videos eine Lippen-Synchronisierung ein. Das bedeutet, dass die Darstellung von der KI so manipuliert wird, dass es zur Tonspur passt.
Im oben eingebundenen Video könnt ihr einige Beispiele dieser Technologie sehen. Google möchte die automatische Audio-Synchronisierung dadurch realistischer als je zuvor machen. Es heißt in der Ankündigung, dass die „Lippen des Sprechers in übersetzten Videos optisch mit der neu synchronisierten Sprache abgeglichen“ werden. So werden die Video-Inhalte für ein globales Publikum zugänglicher und ansprechender. Geplant ist die Synchronisation in 20 verschiedenen Sprachen, ein Testlauf soll in den nächsten Wochen starten.
Sieht nicht danach aus, als wenn YouTube diese unbeliebten automatischen Übersetzungen aufgeben würde. Vielleicht wäre es aber auch schon eine gute Idee, die Nutzer sichtbar darüber zu informieren, dass weder der Ton noch das Bild dem Original-Upload des YouTubers entspricht. Wir zeigen euch, wie ihr das abstellen könnt: