Video-Präsentation: Raytrix demonstriert Live 3D LichtFeld Video und mehr

Grafikprozessor- und Chipsatz-Hersteller Nvidia veranstaltet in regelmäßigen Abständen eine Hausmesse unter dem Titel “GPU Technology Conference” (GTC), die sich vor allem an Ingenieure, Wissenschafter und Journalisten richtet. Im Rahmen der diesjährigen GTC 2012 stellte Raytrix-Mitbegründer Christian Perwass die firmeneigenen LichtFeld-Kameras, die Anwendungsgebiete, und die Technologie dahinter vor:

Aus der Video-Beschreibung (von gputechconf.com):

In dieser Präsentation zeigen wir Ihnen, was eine LichtFeld Kamera ist, wie sie funktioniert, und was man damit machen kann. Neben einer theoretischen Einführung zeigen wir eine Live-Demonstration des von Raytrix entwickelten Kamera-Systems, das 3D Live Video aus einer einzigen Kamera und einer einzigen Linse ermöglicht – derzeit mit bis zu 10 Bildern pro Sekunde und einer maximalen effektiven Auflösung von 3 Megapixeln. Die Daten kommen aus einem 11 Megapixel Sensor und werden mit Hilfe von CUDA Algorithmen auf einer GTX580 Grafikkarte berechnet. Möglichkeiten zur Nachbearbeitung sind z.B. Pixelbasiertes Refokussieren, Tiefenzoom (Streckung oder Stauchung), variable Stereo-Baseline und Baseline-Rotation.

Perwass zeigt auch einige Funktionen der Raytrix-eigenen LichtFeld-Software, darunter ein Masken-basierter Refokus (das Feature wird hier anscheinend aus dem vollscharfen Bild und einer nachträglichen Unschärfe auf Basis der Tiefendaten erzeugt), tatsächlicher LichtFeld-Refokus (auf Basis der RAW-LichtFeld Daten), eine Neubelichtung des Bildes (Einfügen einer virtuellen Lichtquelle), und die Anwendung dieser beiden Features auf ein ganzes LichtFeld Video. Weiters werden der Parallaxen-Effekt (nachträgliche Veränderung der Perspektive), 3D Stereo Ansicht, Baseline-Änderung (Bilddrehung unter Beibehalten der 3D-Effekts unter “normaler”, aufrechter Ansicht des Betrachters) demonstriert.
Besonders toll ist aber die Live-Demo des 3D-Video Features, bei der auch ein Blick auf das User-Interface der Raytrix Software möglich ist. Die Tiefenberechnung für jede Frame (4016 x 2688 Pixel am Sensor, 2008 x 1344 Pixel effektiv) dauert in der Demo mit einer Single-Core GTX580 Karte je nur 94 Millisekunden, kann aber in der Software eingestellt werden und korreliert direkt mit der Qualität der Tiefendaten.

Im Abschnitt “Technology” zeigt Perwass den Vorteil des verwendeten heterogenen Mikrolinsen-Rasters mit Mikrolinsen verschiedener Brennweite (“Plenoptic 2.0” oder Multifokus-Plenoptik) gegenüber anderen Mikrolinsen-Arrays (z.B. dem Array der Lytro Kamera): Durch Verwendung von 3 verschiedenen Brennweiten im Array kann die effektive Bildauflösung auf bis zu 25 % der Sensorauflösung erhöht werden.

Die Folien zur Präsentation stehen hier zur Verfügung: Live 3D-Video with a Lightfield Camera – Christian Perwass (Raytrix GmbH)

via, via