Tesseract: Lichtfeld-Fotografie, Automatische Bildextraktion und 3D-Filter fürs Smartphone

Erinnerst du dich an Focii? Die innovative Methode für Lichtfeld-Aufnahmen, entwickelt von MIT Media Lab Forscher Kshitij Marwah, ermöglicht den einfachen Umbau von herkömmlichen Spiegelreflex-Kameras in Lichtfeld-Kameras durch das Auflegen einer kodierten Maske auf den Bildsensor. Marwah hat Focii jetzt erfolgreich auf ein Smartphone portiert, und gründete vor kurzem Tesseract Imaging, um die Technologie auf den Markt zu bringen.
In einer kürzlichen Präsentation bei INKtalk präsentierte Kshitij Marwah das neue Produkt und führte live drei Features auf seinem umgebauten Android-Smartphone vor:

Präsentierte Features:

• Bokeh: Software-Refokus und Spiegelreflexfoto-ähnliche, kleine Schärfentiefe

  

• Chroma: “3D” Farbfilter à la Instagram, mit automatischer Trennung von Vorder- und Hintergrund-Elementen

  

• Teleport: Automatisierte Extraktion von Vordergrund-Motiven und Ersetzen des Hintergrunds

  

Auf Anfrage lieferte Marwah uns einige zusätzliche Infos:
Der Prototyp in den Videos ist ein modifiziertes HTC EVO 3D, bei dem der “3D” Hardware-Schalter zwischen herkömmlichen Fotos und Lichtfeld-Aufnahmen wechseln lässt. Aufgrund des Alters dieses Modells werden Bilder vor der Auswertung auf 1 Megapixel verkleinert, Marwah meinte jedoch, dass aktuelle Smartphones wie das Samsung Galaxy S4 oder iPhone 5 genügend Rechenleistung für Lichtfeld-Bilder in voller Sensorauflösung ermöglichen sollten.
Die Maske selbst ist mit 10 US-Cent – exkl. Einbau in das Kameramodul und Kalibrierung – extrem günstig in der Herstellung. Dieser Aspekt ist der wohl größte Unterschied im Vergleich zu anderen Lichtfeld-Lösungen – besonders in der Mobil-Branche, wo Platz knapp ist. Tesseract ist bereits in Gesprächen mit Herstellern und OEMs.
Auf die Frage nach zukünftigen Möglichkeiten, die Marwah für die Technologie sieht, zeigte er besondere Begeisterung für die Erweiterung aktuellen Foto-Features (Bokeh, Chroma und Teleport) auf Videos, direkt am Smartphone. “Das wäre bahnbrechend!”

Weitere Screenshots: