Pixar’s Super-LichtFeld Objektiv

Super Plenoptic Lens with a RedOne Camera - One of the examples of relay lenses having specific arrangements of optical elements according to certain embodiments (Pixar patent application 20110169994)
Super Plenoptic Lens with a RedOne Camera - One of the examples of relay lenses having specific arrangements of optical elements according to certain embodiments (Pixar patent application 20110169994)

Super Plenoptisches Objektiv mit einer RedOne Kamera - eines der Beispiele von Relay-Objektiven, die speziell auf ein Kamerasystem abgestimmt sind. (Pixar Patent-Antrag 20110169994) Fotografie ist nur eine der möglichen Anwendungen von LichtFeld Technologie. Kein Wunder, dass auch Filmkonzerne am potential der relativ jungen Technologie interessiert sind. Computer-Animationsstudio Pixar ist eine dieser Firmen, und hat seit 2010 bereits mehrere Patente mit LichtFeld-Bezug beantragt:

Die drei wichtigsten Patentanträgen, die bisher durch die US Patentbehörde veröffentlicht wurden, haben die klingenden Titel “Super LichtFeld Objektiv” (“Super Light-Field Lens”), “Super LichtFeld Objektiv und Methoden zur Bildberechnung” (“Super Light-Field Lens and Image Processing Methods”) und “Super LichtFeld Objektiv mit Doppel-Linsenraster-Element” (“Super Light-Field Lens with Doublet Lenslet Array Element”). Pixar stellt darin einerseits plenoptische Linsensysteme vor, die zusammen mit konventionellen Kameras verwendet werden können, um LichtFeld Kameras zu bilden; andererseits die zur Auswertung der erhaltenen LichtFeld Daten nötigen Methoden.
Pixar interessiert sich dabei nicht nur für die entstehenden 2D-Bilder, links/rechts 3D-Bilder oder etwa die Möglichkeiten für Software-Refokus, Schärfentiefe und Perspektivenänderung (“Bewegen des Kamera-Blickwinkels”). Die Entwickler sprechen auch vom Rendern und Verändern von Bildern, und hier kommt vermutlich die Animations-Expertise der Firma mit ins Spiel.

Im Patentantrat mit dem Titel “Super LichtFeld Objektiv” vom 4. März 2010 (Antrag Nr. 20110169994), beschreiben die Autoren eine Methode zum Bau von LichtFeld Objektiven, die “mit verschiedenen konventionellen Kameras (z.B. Digitale oder Film-Kameras, Bild- und Videokameras sowie Spiegelreflex-Kameras) zusammen passen” um LichtFeld Kamera-Systeme zu bilden.
So ein Super LichtFeld Objektiv enthält eine Feldlinse, ein Mikrolinsen- oder Klein-Linsen-Raster in Nähe der Fokusebene des Objektivs mit Festbrennweite, und ein sogenanntes “Relay Optisches Element”, das die LichtFeld-Daten wieder bündelt und auf den herkömmlichen Bildsensor (z.B. einer Spiegelreflex-Kamera) projiziert.

Beispiel-Schema der optischen Elemente in einem der von Pixar ausgeführten LichtFeld Linsensysteme (Pixar Patentantrag 20110273609)

Beispiel: Detaillierte Seitenansicht der Gehäusestruktur eines Super LichtFeld Systems (z.B. Objektivtubus) inkl. den enthaltenen Elementen, die eine Anpassung der Abstände der optischen Elemente zulassen (Pixar Patentantrag 20110249341)

Ein Jahr jünger ist der Antrag mit dem Titel “Super LichtFeld Objektiv und Methoden zur Bildberechnung” (“Super Light-Field Lens and Image Processing Methods”) vom 4. April 2011 (Antrag Nr. 20110273609). Im Dokument werden verschiedene Möglichkeiten vorgestellt, die erhaltenen LichtFeld-Daten, die mit Hilfe eines Mikrolinsen-Rasters aufgezeichnet wurden, zu verrechnen.
Unter Verwendung der Tiefeninformationen kann das “angepasste Bild” in 2D und 3D dargestellt werden, zudem können Fokus und Blickwinkel geändert und die Kameraposition virtuell vor- und zurückverschoben werden, oder etwa der Blickwinkel geneigt und geschwenkt werden. Alle diese Möglichkieiten ergeben sich sowohl für Einzelbilder als auch für Videos.

In “Super LichtFeld Objektiv mit Doppel-Linsenraster-Element” (“Super Light-Field Lens with Doublet Lenslet Array Element”, 4. April 2011, Antrag Nr. 20110249341), diskutieren die Pixar-Forscher schließlich die Kopplung von zwei Mikrolinsen-Rastern zwischen Feldobjektiv und Relay Element, das wiederum die Daten sammelt und auf einen herkömmlichen Sensor projiziert.
Die beiden Mikro- oder Sublinsen-Raster, die in nächster Nähe zueinander liegen, können sich dabei im Linsentyp (positiv/negativ oder Sammel-/Streulinse), in den verwendeten Materialien (Silizium-, Borosilikat- oder Quarz-Glas) sowie im Glastyp (Kronglas, Flintglas) unterscheiden.

Pixar’s Herangehensweise unterscheidet sich von anderen Lösungen darin, dass das Objektiv selbst der Ort der Aufspaltung in LichtFeld-Daten ist, unabhängig vom verwendeten Sensor.

Auf Disney’s Forschungs-Website ist zu sehen, dass es sich bei diesen Patentanträgen nicht nur um kurzlebige Projekte handelte: David DiFrancesco, Hauptautor der Anträge, forscht laut der Homepage in der Pixar Forschungsgruppe in Emeryville an “Instrumenten zur Aufzeichnung von LichtFeldern für die Verwendung in 3D Cinematographie und Videographie”.

Aber warum interessiert sich Pixar, mit seiner Spezialisierung auf Animation, überhaupt für die Aufnahme von echten Videos? Für diese Frage kommen zwei Antworten in Frage: Einerseits basiert die Mehrheit von Pixar’s Portfolio auf Motion Capture Technik, also z.B. der Aufzeichnung von echten, menschlichen (und anderen physischen) Bewegungen, um ein 3D-Modell zu erstellen, das schließlich mit animierten Inhalten überlagert werden kann.
Andererseits gab der renommierte Regisseur und Animator Brad Bird kürzlich bekannt, am “Schritt in den Live Action Bereich” für einige Projekte interessiert zu sein. Dabei wolle er aber “bei Pixar bleiben, weil es eine sehr angenehme Arbeitsumgebung sei.1

via, via, via, via