Hoe natuurlijke taaltechnologie, hologrammen getuigenis van de holocaust behouden

In de jaren negentig hield de USC Shoah Foundation video-interviews met duizenden overlevenden van de Holocaust, zodat hun verhalen nooit worden vergeten. De digitale bibliotheek van de non-profitorganisatie herbergt momenteel 53.000 videogetuigenissen en is de afgelopen jaren uitgebreid met getuigenissen van degenen die getuige waren van de Rwandese Tutsi-genocide in 1994, het Nanjing-bloedbad van 1937 en de Armeense genocide die samenviel met de Eerste Wereldoorlog.

Maar in een tijdperk dat de opkomst van virtuele en augmented reality ziet, en niet te vergeten robots en virtuele assistenten, heeft de organisatie modernere manieren onderzocht om getuigenissen vast te leggen: interactieve, hologramachtige representaties van overlevenden die kunnen communiceren met en vragen kunnen beantwoorden van toekomstige generaties.

De stichting werkt samen met het USC Institute of Creative Technologies (ICT) en Conscience Display aan het project, bekend als New Dimensions in Testimony. Het is sinds 2012 in de maak en zal uiteindelijk beschikbaar zijn in musea en onderwijsinstellingen over de hele wereld. PCMag reisde onlangs naar Playa Vista, Californië, om te zien hoe Auschwitz-overlevende Eva Kor haar getuigenis gaf op een soundstage.

Projectleider Dr. Stephen D. Smith, uitvoerend directeur van de USC Shoah Foundation, zei dat hij "de kans wilde hebben om met de mensen te praten die zelf genocide hadden meegemaakt, om rechtstreeks van getuigen te horen, in plaats van hen te zien worden verzonden om statistieken van de geschiedenis te worden."

Vijf dagen lang interviewde het team van Smith Kor, die acht was toen de Tweede Wereldoorlog begon. "Door het opnemen van haar antwoorden kunnen we een levende bron creëren voor toekomstige generaties, " zei hij.

Heather Maio, directeur van Conscience Display, had geëxperimenteerd met verschillende technologieën voor musea en onderwijsomgevingen om geschiedenis te delen voordat ze meer te weten kwam over het werk bij ICT.

"Ik had een test met 3D gedaan - met behulp van een opstelling met twee camera's - maar ik was echt op zoek naar een technologie die het verst stond in de technologie van het holografische type. Ik vond ICT in 2010 en bracht het hele project naar de USC Shoah Foundation."

Maio wilde verder gaan dan de traditionele narratieve getuigenis en besloot onderzoek te doen naar natuurlijke taalverwerking, zodat museumbezoekers een echte dialoog met geregistreerde getuigen konden hebben.

Veel van spraakherkenning is nog in ontwikkeling. "We hebben de ASR (Automatic Speech Recognition) van Google ingeplugd, de beste taalsoftware die er is, met name omdat het de grootste natuurlijke gesprekswoorden en frasering heeft en begrip heeft voor de context, " zei Maio. "Maar onze getuigen gebruiken woorden, met name Poolse en Jiddische termen, die tegenwoordig minder worden gebruikt, vanaf het WO II-tijdperk. Ik heb echter gemerkt dat het heel snel leert en nieuwe woorden oppikt en elke dag meer begrijpt."

Het was tijd om de digitale opnamestudio in te gaan. Een bemanning was bezig met het opzetten van een enorm tuig, met een achtergrond van groen scherm over twee derde van de ruimte, zodat de geïnterviewde later in elke omgeving of achtergrond kon worden geplaatst.

Het team filmt in 360 graden via een rig met 112 camera's, een combinatie van Ximea MQ042MG-CM's, Red Epic M Dragons en Panasonic HC-X900's. "Het is een complex project, dus heeft ICT aangepaste systemen ontwikkeld die bovenop Vegas Pro door Sony worden uitgevoerd voor het bewerkingsproces met software die is gemaakt door het Natural Language-team van ICT, " zei Maio.

Met iedereen op zijn plaats, nam Eva Kor plaats in het midden van de camera-opstelling. Eva werd gekozen omdat ze in 1984 de organisatie CANDLES (Children of Auschwitz Nazi Deadly Lab Experiments Survivors) oprichtte en het CANDLES Museum in 1995 opende. Nu 83 jaar oud, en nog steeds scherp als een tack, luisterde ze aandachtig naar de instructies over hoe houd haar torso in dezelfde positie, zodat haar digitale weergave later continuïteit zal hebben. Toen was het net als een echte filmset.

"Rustig op set."

"Geluid!"

"Roll Panasonics."

"Controle van alle Panasonics!"

"Rol rood."

"Lei alsjeblieft."

Het klapbord sloeg neer om het bewerkingsteam hun aantekeningen te geven, iedereen keek naar het script voor de dag en Smith leunde in de microfoon buiten de camera-installatie.

"Wat hebben je ouders je verteld over Hitler en de bezetting?" hij vroeg.

Kor haalde diep adem en vertelde hoe Hongaarse soldaten naar de kleine boerderij van haar familie kwamen, in een dorp in Transsylvanië, Roemenië.

Nadat een getuigenaccount is vastgelegd, worden audio-triggers toegepast, zodat toekomstige doelgroepen op veel verschillende manieren vragen kunnen stellen en een overtuigend antwoord van Kor kunnen krijgen. Dit betekende dat Kor dezelfde vraag op verschillende manieren moest beantwoorden, alleen om ervoor te zorgen dat de software haar antwoorden correct categoriseerde en trefwoorden met semantisch begrip toepaste.

De vragen die de meeste emotie opwekten bij degenen die keken, waren het soort dat kinderen zouden stellen. In feite hadden ze dat. De meer dan 2.000 vragen waren afkomstig van onderzoeksproeven, en veel gingen over de alledaagse details van het leven in die dagen. Kor herinnerde zich jeugdherinneringen, die opgroeiden voordat haar familie naar Auschwitz werd gebracht. Ze beschreef het koken van haar moeder, problemen met pesten op school en het favoriete huisdier van haar tweelingzus Miriam.

Het is omdat Eva en Miriam een ​​tweeling zijn en dus deel uitmaken van de gruwelijke experimenten die in het kamp zijn uitgevoerd, dat ze het allebei hebben overleefd. De rest van het gezin werd bij aankomst gedood.

Na een uur opnemen had Kor rust nodig. Tijdens een pauze in de procedure nam Smith ons dus mee naar een zijkamer om ons een voltooide getuigenis te tonen. Met de output van ICT kunnen de geïnterviewden worden geprojecteerd in 2D HD, 3D, binnen VR of via een willekeurige beeldschermmonitor of elk apparaat.

Op een laptop trok Smith een browservenster open en daar was Pinchas Gutter, een andere overlevende van de Holocaust, zijn handen rustend op zijn benen, ogen alert, wachtend op ons, leek het.

Smith legde zijn vinger op een laptopsleutel om Gutter te activeren om te reageren. Gutter's gezicht lichtte op. Smith stelde een vraag, liet zijn vinger los en Gutter antwoordde, alsof hij daar op een teleconferentie in een andere stad zat.

We stelden allemaal een vraag - sommigen van ons met onze verschillende nationaliteiten en dus accenten. Hij kreeg iedereen en gaf overtuigende antwoorden. Het was dwingend. De opschorting van het geloof was compleet.

Eva Kor was klaar voor haar volgende 100 vragen terug in de studio. Iedereen kwam terug. Maar het verbazingwekkende aan dit project is dat Kor de vragen van mensen zal beantwoorden over wat er met haar is gebeurd lang nadat ze ons in het fysieke rijk heeft achtergelaten.