Google-Forscher zeigen Algorithmus zur nachträglichen Entfernung von Spiegelungen in Fotos & Videos

 

Wer schon einmal ein Foto durch eine Glasscheibe hindurch geschossen hat, wird das Problem kennen: Bei ungünstigem Lichteinfall ist das Foto extrem verspiegelt und das eigentliche Motiv ist dadurch nur schwer zu erkennen. Google-Forscher haben nun gemeinsam mit dem MIT einen Algorithmus entwickelt, der solche Fotos und Videos nachträglich so bearbeiten kann, dass die Spiegelungen komplett verschwinden – mit sehr guten Ergebnissen.

In manchen Fällen lässt es sich einfach nicht verhindern, durch eine Glasscheibe hindurch Fotos zu schießen: Ob es nun Ausstellungsstücke im Museum, Tiere im Zoo oder einfach nur die Landschaft durch die Autoscheibe ist – in den meisten Fällen ist die Scheibe und eine darauf befindliche Reflexion deutlich zu erkennen. Bisher musste man entweder damit leben oder sich sehr viel Zeit nehmen und dies mit Photoshop & Co. nachträglich entfernen. Doch schon bald könnte dies auch vollautomatisch funktionieren.

Der von Google und dem MIT entwickelte Algorithmus kann aus einer Reihe von Fotos oder einem Video eben diese Reflexionen erkennen und durch viel Rechenarbeit komplett herausfiltern. Das Endergebnis ist beeindruckend, denn die Bilder sehen anschließend so aus als wenn sie direkt und ohne störende Scheibe dazwischen geschossen worden wären. Auch durch einen Maschendrahtzaun hindurch geschossene Fotos lassen sich so vollkommen retuschieren und die störenden Streben entfernen.

Damit das ganze funktioniert, benötigt die Software gleich direkt aufeinander folgende Fotos oder einen kurzen Videoclip. Durch die Bewegung errechnet der Algorithmus erst einmal, welche Motive sich im Vordergrund und welche sich im Hintergrund befinden. Da sich die Spiegelungen auch sehr viel schneller bewegen als das eigentliche Motiv, können diese so herausgerechnet werden. Durch Objekterkennung ist es dann möglich, die komplette Spiegelung direkt zu extrahieren. Durch die Bewegung der Kamera lassen sich dann außerdem die fehlenden Pixel des eigentlichen Motivs sehr leicht auffüllen und das Foto wieder vervollständigen.

Interessanterweise arbeitet der Algorithmus auch in zwei Richtungen: Er kann nicht nur das Hauptmotiv wiederherstellen, sondern auch die Reflexion komplett anzeigen. Dadurch lässt sich praktisch auch die Rückseite des Fotos sehen, zumindest ansatzweise. Wann es diese Technologie in ein Google-Produkt schaffen wird ist noch nicht bekannt, die beiden Partner wollen erst in wenigen Tagen genauere Einblicke in die Technologie und deren Funktionsweise geben. Praktischer wäre es natürlich auch, wenn der Algorithmus direkt in die Kameras integriert wird und solche Spiegelungen direkt herausgerechnet werden, noch bevor das eigentliche Foto geschossen wird.

[TechCrunch]

---

---