Menü

Ohne Regisseur: KI-Drohne erstellt selbstständig cineastische Filmsequenzen

Eine Drohne mit künstlicher Intelligenz kann selbstständig Aufnahmen für Filme erstellen. Die Anwendungsmöglichkeiten sind aber noch vielfältiger.

Lesezeit: 2 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen 37 Beiträge

Die Drohne der MCU ermittelt für Filmaufnahmen die beste Kameraposition und Flugbahn mittels künstlicher Intelligenz.

(Bild: Rogério Bonatti (Screenshot))

Von

Wissenschaftler der Carnegie Mellon University (CMU) in Pittsburgh im US-Bundesstaat Pennsylvania haben eine autonome Drohne entwickelt, die selbstständig ohne Drehbuch cineastische Filmsequenzen aus der Luft aufnehmen kann. Eine Künstliche Intelligenz (KI) ermittelt die optimale Kameraposition, um die Schauspieler möglichst gut in Szene zu setzen.

Die KI-Drohne der CMU findet sich in unbekannten Umgebungen selbstständig zurecht. Das System setzt dabei auf optische Erkennungsverfahren über eine Kamera und Abstandssensoren, um Kollisionen etwa mit Bäumen oder anderen Gegenständen zu verhindern. Ansonsten konzentriert sich das System auf seine Aufgabe, Schauspieler oder Objekte ansprechend und nach den Regeln der Filmkunst in Szene zu setzen. "Die Drohne positioniert sich selbstständig, um die wichtigsten Aspekte einer Szene aufzunehmen. Sie versteht selbstständig den Kontext der Szene und weiß wo sich Schauspieler und Hindernisse befinden. Sie entscheidet dann selbst, welche Kameraperspektiven die visuell interessanteste Szene ergeben. Dabei berücksichtigt sie die Sicherheit, um nicht abzustürzen", sagt PhD-Student Rogério Bonatti, Betreuer des Projekts am Institut für Robotik an der MCU.

Dazu wurde die KI per Deep Reinforcement Learning (DLR) angelernt, um ihr beizubringen, was Filmkunst ist. Diese subjektiven Gesichtspunkte mathematisch zu beschreiben, sei zu schwierig, heißt es von den Forschern. Deshalb haben sie zunächst eine Untersuchung durchgeführt, in der Probanden auf einem fotorealistischen Simulator verschiedene Szenen aus wechselnden Kameraperspektiven vorgespielt wurden. Die Probanden bewerteten anschließend die Szenen nach einem Punktesystem, wie visuell ansprechend und künstlerisch interessant sie die Sequenzen empfanden. Mit den Ergebnissen lernten die Forscher dann die Künstliche Intelligenz an. Statt langweiliger Szenen aus einem Blickwinkel, wie sie herkömmliche Kameradrohnen im Verfolgungsmodus aufnehmen, variieren die Aufnahmepositionen und Distanzen zum Schauspieler oder Objekt. Dadurch kommen abwechslungsreichere und interessantere Aufnahmen zustande.

Das Video zeigt, wie die KI-Drohne der MCU selbstständig cineastische Videoaufnahmen erstellt. (Quelle: Rogério Bonatti)

Sebastian Scherer, Professor am MCU-Institut für Robotik, sieht in Zukunft noch weitergehende Möglichkeiten der neuen Technik. Ziel der weiteren Forschungsarbeit sei es, weitere Parameter zu ermitteln, um den Filmstil bekannter Regisseure oder Genre nachzuahmen.

Bonatti sieht aber noch zusätzlichen Verbesserungsbedarf. So soll die Drohne lernen, wie sie sich effizienter an die Bewegungsabläufe der Schauspieler und Objekte anpassen kann. Außerdem soll die Drohne mittels LiDAR eine Umgebungskarte erstellen, um sich so sicherer bewegen zu können.

Nach Ansicht von Bonatti sind die Anwendungsmöglichkeiten vielfältig und nicht nur auf Filme oder Sportaufnahmen beschränkt. Bereits jetzt würden Drohnen von Regierungsinstitutionen und der Polizei zur Überwachung von Menschenansammlungen und den Verkehr eingesetzt. So wie die Drohne künstlerische Aufnahmeprinzipien gelernt hat, könnte sie genauso Prinzipien für Überwachungsaufnahmen lernen. Bisher werden solche Drohnen von Spezialisten gesteuert, was von ihnen viel Aufmerksamkeit abverlange.

Ersetzen wolle man professionelle Drohnenpiloten durch das System aber nicht. "Es wird immer einen Markt für professionelle Experten geben", sagt Bonatti. Im Bereich des Films könne die Drohne die Filmgestaltung aber vereinfachen, sodass sich die Menschen auf andere Dinge konzentrieren können, die ihnen wichtig sind.

Details ihrer Arbeit will das Forscherteam auf der International Conference on Intelligent Robots and Systems (IROS) vorstellen, die vom 4. bis 8. November 2019 in Macau in China stattfindet. Die Forschungsarbeit, die von Yamaha Motor finanziert wird, soll im Journal of Field Robotics publiziert werden. (olb)