Computationele fotografie is klaar voor close-up

Meer dan 87 miljoen Amerikanen reisden internationaal in 2017, een recordaantal volgens het US National Travel and Tourism Office. Als je erbij was, heb je misschien een bestemming bezocht zoals Stonehenge, de Taj Mahal, Ha Long Bay of de Grote Muur van China. En je hebt misschien je telefoon gebruikt om een ​​panorama op te nemen, misschien zelfs zelf helemaal ronddraaiend met je telefoon om een ​​superbreed, 360 graden beeld van het landschap te maken.

Als je succesvol was - wat betekent dat er geen verkeerd uitgelijnde secties, vignettering of kleurverschuivingen waren - dan ervoer je een eenvoudig maar effectief voorbeeld van computationele fotografie. Maar in de afgelopen jaren is computationele fotografie verder gegaan dan zulke beperkte toepassingen. Het zou ons niet alleen een ander perspectief op fotografie kunnen geven, maar ook kunnen veranderen hoe we onze wereld bekijken.

Wat is computationele fotografie?

Marc Levoy, hoogleraar informatica (emeritus) aan Stanford University, hoofdingenieur bij Google, en een van de pioniers op dit opkomende gebied, heeft computationele fotografie gedefinieerd als een verscheidenheid aan "computational imaging-technieken die de mogelijkheden van digitale fotografie verbeteren of uitbreiden output is een gewone foto, maar een die niet met een traditionele camera kon worden genomen."

Volgens Josh Haftel, hoofdproductmanager bij Adobe, biedt het toevoegen van computerelementen aan traditionele fotografie nieuwe kansen, met name voor beeldvormings- en softwarebedrijven: "De manier waarop ik computerfotografie zie, is dat het ons de mogelijkheid biedt om twee dingen te doen. Een van ze moeten proberen veel van de fysieke beperkingen die binnen mobiele camera's bestaan ​​op te lossen."

Een smartphone krijgen om ondiepe scherptediepte (DOF) te simuleren - een kenmerk van een professioneel ogend beeld, omdat het het onderwerp visueel scheidt van de achtergrond - is een goed voorbeeld. Wat voorkomt dat een camera op een heel dun apparaat, zoals een telefoon, een beeld kan vastleggen met een ondiepe DOF zijn de wetten van de fysica.

"Je kunt het niet hebben Ondiep scherptediepte met een heel kleine sensor, "zegt Haftel. Maar een grote sensor vereist een grote lens. En omdat de meeste mensen willen dat hun telefoons ultradun zijn, is een grote sensor gecombineerd met een grote, dikke lens geen optie., telefoons zijn gebouwd met kleine prime lenzen en kleine sensoren, produceren een grote scherptediepte die alle onderwerpen dichtbij en ver scherp in beeld brengt.

Haftel zegt dat makers van smartphones en eenvoudige camera's dit kunnen compenseren door computationele fotografie te gebruiken om "vals te spelen door het effect te simuleren op manieren die het oog misleiden." Bijgevolg worden algoritmen gebruikt om te bepalen wat als de achtergrond wordt beschouwd en wat als een onderwerp op de voorgrond wordt beschouwd. Vervolgens simuleert de camera een ondiepe DOF door de achtergrond te vervagen.

De tweede manier waarop Haftel zegt dat computationele fotografie kan worden gebruikt, is door nieuwe processen en technieken in te zetten om fotografen te helpen dingen te doen die met traditionele tools niet mogelijk zijn. Haftel wijst als voorbeeld naar HDR (hoog dynamisch bereik).

"HDR is de mogelijkheid om meerdere foto's tegelijkertijd of snel achter elkaar te maken en ze vervolgens samen te voegen om de beperkingen van de natuurlijke mogelijkheden van de sensor te overwinnen." In feite kan HDR, met name op mobiele apparaten, het toonbereik verder uitbreiden dan wat de beeldsensor op natuurlijke wijze kan vastleggen, zodat u meer details kunt vastleggen in de lichtste highlights en de donkerste schaduwen.

Wanneer computationele fotografie tekortschiet

Niet alle implementaties van computationele fotografie zijn succesvol geweest. Twee gedurfde pogingen waren de Lytro- en Light L16-camera's: in plaats van traditionele en computationele fotofuncties (zoals iPhones, Android-telefoons en sommige zelfstandige camera's) te combineren, probeerden de Lytro en Light L16 zich alleen te concentreren op computationele fotografie.

De eerste die op de markt kwam, was de Lytro-lichtveldcamera, in 2012, waarmee u de focus van een foto kunt aanpassen nadat u de opname hebt gemaakt. Dit gebeurde door de richting vast te leggen van het licht dat de camera binnenkomt, wat traditionele camera's niet doen. De technologie was intrigerend, maar de camera had problemen, waaronder een lage resolutie en een moeilijk te gebruiken interface.

Het had ook een vrij beperkte gebruikssituatie. Zoals Dave Etchells, oprichter, uitgever en hoofdredacteur van Imaging Resource opmerkt: "Hoewel het mogelijk was om scherp te stellen nadat het een leuke functie was, was het diafragma van de camera zo klein dat je niet echt afstanden kon onderscheiden tenzij er iets heel dichtbij de camera was."

Stel bijvoorbeeld dat u een honkbalspeler op een lokale honkbaldiamant schiet. Je kunt een foto maken dicht bij het hek en de speler ook vastleggen door het hek, zelfs als hij ver weg is. Dan verander je eenvoudig de focus van het hek naar de speler. Maar zoals Etchells opmerkt: "Hoe vaak maak je eigenlijk zo'n foto?"

Een recenter apparaat dat een zelfstandige computercamera wil zijn, was de Light L16, een poging om een ​​dunne, draagbare camera met beeldkwaliteit en prestaties te produceren die vergelijkbaar is met een hoogwaardige D-SLR of spiegelloze camera. De L16 is ontworpen met 16 verschillende lens-en-sensormodules in een enkele camerabehuizing. krachtig software aan boord zou één afbeelding samenstellen uit de verschillende modules.

Etchells was in eerste instantie onder de indruk van het concept van de Light L16. Maar als een echt product, zei hij, "had het verschillende problemen."

Bijvoorbeeld, Light, de camera en fotografiebedrijf dat Light L16 maakt, beweerde dat de gegevens van al die kleine sensoren gelijk zouden zijn aan het hebben van één grote sensor. "Ze beweerden ook dat het D-SLR-kwaliteit zou worden", zegt Etchells. Maar in hun praktijktests ontdekte Imaging Resource dat dit niet het geval was.

Er waren andere problemen, waaronder dat bepaalde delen van de foto overmatig veel ruis hadden, "zelfs in heldere delen van de afbeelding… En er was vrijwel geen dynamisch bereik: de schaduwen stopten gewoon onmiddellijk in elkaar", zegt Etchells, wat betekent dat in bepaalde delen van foto's - inclusief de voorbeeldfoto's die het bedrijf gebruikte om de camera te promoten - er waren nauwelijks details in de schaduwen.

"Het was ook gewoon een ramp bij weinig licht", zegt Etchells. "Het was gewoon geen erg goede camera, punt uit."

Wat is het volgende?

Ondanks deze tekortkomingen zijn veel bedrijven bezig met nieuwe implementaties van computationele fotografie. In sommige gevallen vervagen ze de lijn tussen wat als fotografie wordt beschouwd en andere soorten media, zoals video en VR (virtual reality).

Google zal de Google Foto's-app bijvoorbeeld uitbreiden met AI (kunstmatige intelligentie) voor nieuwe functies, waaronder het inkleuren van zwart-witfoto's. Microsoft gebruikt AI in de Pix-app voor iOS, zodat gebruikers naadloos visitekaartjes kunnen toevoegen aan LinkedIn. Facebook introduceert binnenkort een functie voor 3D-foto's, "die een nieuw mediatype is waarmee mensen 3D-momenten met een smartphone kunnen vastleggen en delen op Facebook". En in de Lightroom-app van Adobe kunnen fotografen op mobiele apparaten HDR-functies gebruiken en afbeeldingen vastleggen in het RAW-bestandsformaat.

VR en computationele fotografie

Terwijl mobiele apparaten en zelfs zelfstandige camera's computationele fotografie op intrigerende manieren gebruiken, zelfs meer krachtige use cases komen uit de wereld van extended-reality platforms, zoals VR en AR (augmented reality). Voor James George, CEO en mede-oprichter van Scatter, een meeslepende mediastudio in New York, computationele fotografie is het openen van nieuwe manieren voor kunstenaars om hun visies te uiten.

"Bij Scatter zien we computationele fotografie als de kerntechnologie voor nieuwe creatieve disciplines die we proberen te pionieren… Door het toevoegen van berekeningen kunnen we een aantal van dezelfde dingen gaan synthetiseren en simuleren die onze ogen doen met de beelden die we zie in onze hersenen, "zegt George.

In wezen komt het neer op intelligentie. We gebruiken onze hersenen om na te denken en de beelden die we waarnemen te begrijpen.

"Computers beginnen in staat te zijn om naar de wereld te kijken en dingen te zien en te begrijpen wat ze zijn op dezelfde manier als wij, " zegt George. Dus computationele fotografie is "een toegevoegde laag van synthese en intelligentie die verder gaat dan alleen het pure vastleggen van een foto maar eigenlijk de menselijke ervaring van het waarnemen van iets begint te simuleren."

De manier waarop Scatter computationele fotografie gebruikt, wordt volumetrische fotografie genoemd. Dit is een methode om een ​​onderwerp vanuit verschillende gezichtspunten op te nemen en vervolgens software te gebruiken om al die gezichtspunten te analyseren en opnieuw te creëren in een driedimensionale weergave. (Zowel foto's als video kunnen volumetrisch zijn en verschijnen als 3D-achtige hologrammen die je kunt verplaatsen binnen een VR- of AR-ervaring.) "Ik ben vooral geïnteresseerd in de mogelijkheid om dingen op meer dan alleen tweedimensionale wijze te reconstrueren, "zegt George. "In ons geheugen, als we erdoorheen lopen een ruimte , we kunnen ons eigenlijk ruimtelijk herinneren waar dingen in relatie tot elkaar stonden."

George zegt dat Scatter in staat is om een ​​ruimte te extraheren en te creëren die "volledig en vrij navigeerbaar is, zoals je er misschien doorheen kunt bewegen als een videogame of een hologram. Het is een nieuw medium dat is ontstaan ​​uit de kruising tussen videogames en filmmaken die computationele fotografie en volumetrische filmmaken mogelijk maken."

Om anderen te helpen bij het produceren van volumetrische VR-beveiligingen, heeft Scatter DepthKit ontwikkeld, een softwaretoepassing waarmee filmmakers kunnen profiteren van de dieptesensor van camera's zoals de Microsoft Kinect als accessoire voor een HD-videocamera. Hiermee produceert DepthKit, een CGI en videosoftware-hybride, levensechte 3D-formulieren "geschikt voor real-time weergave in virtuele werelden", zegt George.

Scatter heeft verschillende krachtige VR-ervaringen met DepthKit geproduceerd met behulp van computationele fotografie en volumetrische filmtechnieken. In 2014 werkte George samen met Jonathan Minard om 'Clouds' te maken, een documentaire waarin de kunst van code wordt onderzocht, die een interactieve component bevatte. In 2017 produceerde Scatter een VR-aanpassing op basis van de film Zero Days , met behulp van VR om het publiek een uniek perspectief te bieden in de onzichtbare wereld van cyberoorlogvoering - om dingen te bekijken vanuit het perspectief van het Stuxnet-virus.

Een van de krachtigste aan DeepKit gerelateerde projecten is "Terminal 3", een augmented reality-ervaring van de Pakistaanse kunstenaar Asad J. Malik, die eerder dit jaar in première ging op het filmfestival TriBeCa. De ervaring laat je virtueel in de schoenen stappen van een Amerikaanse grenspatrouille via een Microsoft HoloLens en een spookachtig 3D volumetrisch hologram ondervragen van iemand die een moslim lijkt te zijn (er zijn in totaal zes personages die je kunt interviewen).

"Asad is een Pakistaanse inwoner die naar de VS emigreerde om naar de universiteit te gaan en een aantal behoorlijk negatieve ervaringen had ondervraagd over zijn achtergrond en waarom hij daar was. Geschokt door die ervaring creëerde hij 'Terminal 3'", zegt George.

Een van de sleutels tot wat de ervaring zo aantrekkelijk maakt, is dat Malik's team bij 1RIC, zijn augmented reality-studio, DepthKit gebruikte om video om te zetten in volumetrische hologrammen, die vervolgens kunnen worden geïmporteerd in real-time videogamemotoren zoals Unity of 3D grafische hulpmiddelen zoals Maya en Cinema 4D. Door de dieptesensorgegevens van de Kinect toe te voegen aan de D-SLR-video om het hologram correct in de virtuele AR-ruimte te plaatsen, verandert de DepthKit-software de video in computational video. Een zwart-wit dambord wordt gebruikt om de D-SLR en de Kinect samen te kalibreren, waarna beide camera's tegelijkertijd kunnen worden gebruikt om volumetrische foto's en video te maken.

• 10 Snelle tips om uw slechte foto's te repareren 10 Snelle tips om uw slechte foto's te repareren
• 10 Beyond-Basic Tips voor digitale fotografie 10 Beyond-Basic Tips voor digitale fotografie
• 10 eenvoudige tips en trucs voor betere smartphonefoto's 10 eenvoudige tips en trucs voor betere smartphonefoto's

Aangezien deze AR-ervaringen gemaakt met DepthKit vergelijkbaar zijn met de manier waarop videogames werken, kan een ervaring zoals "Terminal 3" krachtige interactieve effecten produceren. George zegt bijvoorbeeld dat Malik toestaat dat de hologrammen van vorm veranderen terwijl je ze ondervraagt: als je vragen tijdens het verhoor beschuldigend worden, dematerialiseert het hologram en lijkt het minder menselijk. "Maar als je de biografie van de persoon, zijn eigen ervaringen en zijn waarden begint in te roepen, " zegt George, "begint het hologram zich daadwerkelijk in te vullen en meer fotorealistisch te worden."

Bij het creëren van dit subtiele effect, zegt hij, kun je nadenken over de perceptie van de ondervrager en hoe ze een persoon kunnen zien 'als slechts een embleem in plaats van een echte persoon met een echte identiteit en uniekheid'. In zekere zin zou het gebruikers meer inzicht kunnen geven. "Door middel van een reeks aanwijzingen, waar je de een of andere vraag mag stellen", zegt George, "wordt je geconfronteerd met je eigen vooroordelen en tegelijkertijd dit individuele verhaal."

Net als de meeste opkomende technologieën ervaart computationele fotografie zijn aandeel in zowel successen als mislukkingen. Dit betekent dat sommige belangrijke functies of hele technologieën een korte houdbaarheid kunnen hebben. Neem de Lytro: in 2017, vlak voordat Google het bedrijf kocht, sloot Lytro foto's.lytro.com, dus je kon geen afbeeldingen meer plaatsen op websites of sociale media. Voor degenen die het missen, heeft Panasonic een Lytro-achtige focusfunctie genaamd Post Focus, die het heeft opgenomen in verschillende high-end spiegelloze camera's en point-and-shoots.

De hulpmiddelen en functies voor computationele fotografie die we tot nu toe hebben gezien, zijn slechts de begin . Ik denk dat deze tools veel krachtiger, dynamischer en intuïtiever zullen worden, omdat mobiele apparaten zijn ontworpen met nieuwere, veelzijdiger camera's en lenzen, krachtigere ingebouwde processors en meer uitgebreide mogelijkheden voor mobiel netwerken. In de zeer nabije toekomst kunt u de ware kleuren van computationele fotografie beginnen te zien.