Leren van Alexa's fouten

Een Amazon Echo-apparaat heeft onlangs het privégesprek van een gebruiker opgenomen en het zonder hun medeweten en toestemming naar een van hun contacten gestuurd. Dit roept (opnieuw) zorgen op over de beveiliging en privacy van slimme luidsprekers. Zoals later echter duidelijk werd, maakte Alexa's rare gedrag geen deel uit van een sinister spionageplan - het werd eerder veroorzaakt door een reeks gekoppelde fouten die te wijten waren aan de manier waarop de slimme luidspreker werkt.

Volgens een account van Amazon: "Echo werd wakker door een woord in achtergrondgesprek dat klonk als 'Alexa'. Toen werd het daaropvolgende gesprek gehoord als een 'verzend bericht'-verzoek. Op welk moment zei Alexa hardop' Aan wie? ' Op dat moment werd het achtergrondgesprek geïnterpreteerd als een naam in de lijst met contactpersonen van de klant. Alexa vroeg vervolgens hardop: 'toch?' Alexa interpreteerde achtergrondgesprekken vervolgens als 'goed'. Hoe onwaarschijnlijk deze reeks gebeurtenissen ook is, we evalueren opties om deze zaak nog minder waarschijnlijk te maken."

Het scenario is een randgeval, het soort incident dat zeer zelden voorkomt. Maar het is ook een interessant onderzoek naar de grenzen van de kunstmatige intelligentietechnologie die de Echo en andere zogenaamde "slimme" apparaten aandrijft.

Te veel cloudafhankelijkheid

Om spraakopdrachten te begrijpen, vertrouwen slimme sprekers zoals de Echo en Google Home op diepgaande algoritmen, die uitgebreide rekenkracht vereisen. Omdat ze niet over de computerbronnen beschikken om de taak lokaal uit te voeren, moeten ze de gegevens naar de cloudservers van de fabrikant sturen, waar AI-algoritmen spraakgegevens naar tekst transformeren en de opdrachten verwerken.

Maar slimme sprekers kunnen niet alles wat ze horen naar hun cloudservers sturen, omdat dat de fabrikant zou vereisen om buitensporige hoeveelheden gegevens op hun servers op te slaan - waarvan de meeste nutteloos zouden zijn. Het per ongeluk opnemen en opslaan van privégesprekken die thuis plaatsvinden, zou ook een privacy-uitdaging vormen en fabrikanten in de problemen kunnen brengen, vooral met nieuwe regelgeving voor gegevensprivacy die ernstige beperkingen oplegt aan de manier waarop technologiebedrijven gegevens opslaan en gebruiken.

Dat is de reden waarom slimme luidsprekers zijn ontworpen om te worden geactiveerd nadat de gebruiker een wekwoord zoals 'Alexa' of 'Hey Google' uitspreekt. Pas nadat ze het wake-woord hebben gehoord, beginnen ze de audio-invoer van hun microfoons naar de cloud te sturen voor analyse en verwerking.

Hoewel deze functie de privacy verbetert, presenteert het zijn eigen uitdagingen, zoals het recente incident met Alexa benadrukte.

"Als een woord - of iets dat er erg op lijkt - halverwege een gesprek wordt verzonden, heeft Alexa niets van de vorige context", zegt Joshua March, CEO van Conversocial. "Op dat moment luistert het extreem hard naar opdrachten die te maken hebben met de vaardigheden die je hebt ingesteld (zoals hun berichtenapp). Privacy wordt grotendeels verbeterd door de context te beperken waar Alexa op let (zoals het neemt niet op of luistert niet naar je normale gesprekken), hoewel dat in dit geval mislukte."

Vooruitgang in edge computing kan dit probleem helpen oplossen. Terwijl AI en diepgaand leren hun weg vinden naar meer en meer apparaten en applicaties, hebben sommige hardwarefabrikanten gespecialiseerde processoren gemaakt om AI-taken uit te voeren zonder al te veel afhankelijk te zijn van cloudresources. Edge AI-processors kunnen apparaten zoals Echo helpen gesprekken beter te begrijpen en te verwerken zonder inbreuk te maken op de privacy van gebruikers door alle gegevens naar de cloud te verzenden.

Context en bedoeling

Afgezien van het ontvangen van ongelijksoortige en gefragmenteerde stukken audio, worstelt Amazon's AI met het begrijpen van de nuances van menselijk gesprek.

"Hoewel er de afgelopen jaren enorme vooruitgang is geboekt in diep leren, waardoor software spraak en afbeeldingen beter dan ooit tevoren kan begrijpen, zijn er nog steeds veel beperkingen", zegt March. "Hoewel stemassistenten de woorden die je zegt kunnen herkennen, hebben ze niet noodzakelijk enig echt begrip van de betekenis of bedoeling ervan. De wereld is een complexe plaats, maar elk AI-systeem kan tegenwoordig alleen specifieke, enge gevallen."

Wij mensen hebben bijvoorbeeld veel manieren om te bepalen of een zin op ons is gericht, zoals de toon van een stem of het volgen van visuele aanwijzingen - bijvoorbeeld de richting waarin de spreker kijkt.

Alexa neemt daarentegen aan dat het de ontvanger is van elke zin die het woord 'A' bevat. Dit is de reden waarom gebruikers het vaak per ongeluk activeren.

Een deel van het probleem is dat we de mogelijkheden van de huidige AI-toepassingen overdrijven, ze vaak op één lijn stellen met of boven de menselijke geest en er teveel vertrouwen in stellen. Daarom zijn we verrast wanneer ze spectaculair falen.

"Een deel van de kwestie hier is dat de term 'AI' zo agressief op de markt is gebracht dat consumenten een onverdiende hoeveelheid vertrouwen hebben gesteld in producten waaraan deze term is gekoppeld", zegt Pascal Kaufmann, neurowetenschapper en oprichter van Starmind. "Dit verhaal illustreert dat Alexa veel mogelijkheden heeft en een relatief beperkt begrip van hoe en wanneer ze op de juiste manier moeten worden toegepast."

Diepgaande algoritmen mislukken vaak wanneer ze geconfronteerd worden met instellingen die afwijken van de gegevens en scenario's waarvoor ze zijn opgeleid. "Een van de bepalende kenmerken van AI op menselijk niveau is zelfredzame competentie en een goed begrip van inhoud, " zegt Kaufmann. "Dit is een cruciaal onderdeel van het werkelijk als intelligent beschouwen van een AI en van vitaal belang voor de ontwikkeling ervan. Het creëren van zelfbewuste digitale assistenten, die een volledig begrip van de menselijke natuur met zich meebrengen, markeert hun transformatie van een leuke nieuwigheid naar een echte nuttig instrument."

Maar het creëren van AI op menselijk niveau, ook wel algemene AI genoemd, is gemakkelijker gezegd dan gedaan. Al tientallen jaren denken we dat het net om de hoek is, alleen om verbijsterd te raken omdat technologische vooruitgang heeft aangetoond hoe ingewikkeld de menselijke geest is. Veel experts geloven dat het achtervolgen van algemene AI zinloos is.

Ondertussen biedt een nauwe AI (zoals de huidige technologieën voor kunstmatige intelligentie worden beschreven) nog steeds veel kansen en kan deze worden opgelost om herhalende fouten te voorkomen. Voor de duidelijkheid, diep leren en machine learning zijn nog steeds in opkomst en bedrijven zoals Amazon werken hun AI-algoritmen voortdurend bij om randgevallen aan te pakken telkens wanneer ze zich voordoen.

Wat we moeten doen

"Dit is een jong, opkomend veld. Natural Language Understanding staat vooral in de kinderschoenen, dus we kunnen hier veel doen", zegt Eric Moller, CTO van Atomic X.

Moller gelooft dat stemanalyse AI-algoritmen kunnen worden afgestemd om intonatie en verbuiging beter te begrijpen. "Het gebruik van het woord 'Alexa' in een bredere zin klinkt anders dan een aanroep of opdracht. Alexa zou niet wakker moeten worden omdat je die naam terloops zei, " zegt Moller. Met voldoende training zou AI moeten kunnen onderscheiden welke specifieke tonen op de slimme luidspreker zijn gericht.

Technische bedrijven kunnen ook hun AI trainen om te onderscheiden wanneer het achtergrondgeluid ontvangt in plaats van dat er rechtstreeks tegen wordt gesproken. "Achtergrondgebabbel heeft een unieke auditieve 'handtekening' die mensen heel goed zijn in het oppikken en selectief afstellen. Er is geen reden waarom we AI-modellen niet kunnen trainen om hetzelfde te doen, " zegt Moller.

Als voorzorgsmaatregel moeten AI-assistenten de impact van de beslissingen die ze nemen beoordelen en menselijke beslissingen betrekken in gevallen waarin ze iets willen doen dat mogelijk gevoelig is. Fabrikanten moeten meer veiligheidsmaatregelen nemen in hun technologieën om te voorkomen dat gevoelige informatie wordt verzonden zonder de uitdrukkelijke en duidelijke toestemming van de gebruiker.

"Hoewel Amazon meldde dat Alexa probeerde de actie te bevestigen die het had geïnterpreteerd, moeten sommige acties zorgvuldiger worden beheerd en aan een hogere standaard van bevestiging van de intentie van de gebruiker worden gehouden", zegt Sagi Eliyahi, CEO van Tonkean. "Mensen hebben dezelfde problemen met spraakherkenning, maar horen af ​​en toe verzoeken verkeerd. In tegenstelling tot Alexa zal een mens echter eerder absoluut bevestigen dat hij een onduidelijk verzoek begrijpt en, belangrijker, de waarschijnlijkheid van een verzoek inschatten in vergelijking met eerdere verzoeken."

In de tussentijd…

Hoewel technologiebedrijven hun AI-toepassingen nauwkeurig afstemmen om fouten te verminderen, moeten gebruikers de uiteindelijke beslissing nemen over hoeveel ze willen worden blootgesteld aan de mogelijke fouten die hun AI-apparaten kunnen maken.

"Deze verhalen tonen een conflict met de hoeveelheid gegevens die mensen bereid zijn te delen tegen de belofte van nieuwe AI-technologieën", zegt Doug Rose, data science-expert en de schrijver van verschillende boeken over AI en software. "Je plaagt Siri misschien omdat ze traag is. Maar de beste manier voor haar om meer intelligentie te bereiken, is door onze privégesprekken binnen te dringen. Dus een belangrijke vraag in het komende decennium of zo is hoeveel we deze AI-agenten toestaan ​​om in ons gedrag te gluren ?"

"Welk gezin zou een menselijke assistent in de woonkamer plaatsen en die persoon de hele tijd naar elk soort gesprek laten luisteren?" zegt Kaufmann, de neurowetenschapper uit Starmind. "We moeten op zijn minst dezelfde normen toepassen op zogenaamde" AI "-apparaten (zo niet hoger) die we ook toepassen op intelligente menselijke wezens als het gaat om privacy, geheimhouding of betrouwbaarheid."