Menü

KI re­tu­schie­rt Smartphonefotos in Echtzeit

Forscher vom MIT und Google haben eine KI vorgestellt, die automatisch RAW-Bilder entwickelt. Das dafür trainierte neuronale Netz ist klein genug, um auf dem Smartphone zu laufen und schnell genug, um in Echtzeit zu retuschieren.

KI re­tu­schie­rt Smartphonefotos in Echtzeit

(Bild: Gharbi et al. )

Forscher des MIT haben ein Verfahren vorgestellt, um in Echtzeit Fotos aus der Smartphonekamera zu
re­tu­schie­ren. Der Algorithmus nutzt ein vortrainiertes neuronales Netz, das auf dem Smartphone läuft, sodass keine Bilder in die Cloud geladen werden müssen. Das spart Strom und soll schnell genug sein, dass das Smartphone das retuschierte Bild in Echtzeit als Vorschau anzeigen kann.

Um Energie zu sparen rechnet das neuronale Netz mit einer Version des Bildes in sehr kleiner Auflösung. Das reicht, um ein Raster mit Parametern zu bestimmen, die ein Algorithmus zum Tonemapping auf das hochauflösende Bild anwendet. Im Prinzip arbeitet das Gesamtsystem wie ein professioneller Fotograf: Abhängig vom Motiv wendet es verschiedene Parameter bei der RAW-Entwicklung auf einzelne Bildbereiche an. Es ist damit in der Lage Gesichter aufzuhellen oder Felsen kontrastreicher erscheinen zu lassen.

Um zu lernen, worauf es beim Retuschieren ankommt, trainierten die MIT-Forscher ihr System mit einem Datensatz, den das MIT zusammen mit Adobe erstellt hat: In dem haben fünf professionelle Fotografen jeweils 5000 RAW-Bilder entwickelt.

Die obere Zeile stellt die Struktur des neuronalen Netzes dar, das sowohl lokale als auch globale Parameter für den Algorithmus errechnet, der in der unteren Zeile mit den Daten in voller Auflösung rechnet. Trainiert wird das Gesamtsystem mit den hoch aufgelösten Bildern.

(Bild:  Gharbi et al. )

Die MIT-Webseite erklärt Details zum Verfahren. Wer die verwendeten Formeln sehen will, muss aber ins Paper hineinschauen. Ob und wann die Technik in Kamera-Apps von Smartphones Einzug hält, klären beide Veröffentlichungen nicht – auf der SIGGRAPH-Konferenz haben die Forscher aber das richtige Publikum für eine schnelle Umsetzung gefunden. (jme)

Anzeige
Zur Startseite
Anzeige