Huis Meningen Hoe de nepnieuwswaarschuwingen van openai daadwerkelijk nepnieuws veroorzaakten

Hoe de nepnieuwswaarschuwingen van openai daadwerkelijk nepnieuws veroorzaakten

Inhoudsopgave:

Video: Getting Started With OpenAI Gym (November 2024)

Video: Getting Started With OpenAI Gym (November 2024)
Anonim

Non-profit AI-onderzoekslab OpenAI veroorzaakte vorige maand een golf van AI-apocalyps-paniek toen het een geavanceerde tekstgenererende AI introduceerde met de naam GPT-2. Maar terwijl het de prestaties van GPT-2 vierde, verklaarde OpenAI dat het zijn AI-model niet aan het publiek zou vrijgeven, bang dat GPT-2 in verkeerde handen zou kunnen worden gebruikt voor kwaadaardige doeleinden, zoals het genereren van misleidende nieuwsartikelen, het nabootsen van anderen online en automatisering van de productie van nepinhoud op sociale media.

Voorspelbaar creëerde OpenAI's aankondiging een vloed van sensationele nieuwsverhalen, maar hoewel elke geavanceerde technologie kan worden bewapend, moet AI nog veel verder gaan voordat het de tekstgeneratie beheerst. Zelfs dan is er meer dan alleen tekstgenererende AI nodig om een ​​nepnieuwscrisis te creëren. In dit licht waren de waarschuwingen van OpenAI overdreven.

AI en menselijke taal

Computers hebben in het verleden moeite gehad om met menselijke taal om te gaan. Er zijn zoveel complexiteiten en nuances in geschreven tekst dat het vrijwel onmogelijk is om ze allemaal om te zetten in klassieke softwareregels. Maar recente vorderingen in diep leren en neurale netwerken hebben de weg vrijgemaakt voor een andere aanpak voor het maken van software die taalgerelateerde taken aankan.

Diep leren heeft grote verbeteringen gebracht op gebieden zoals machinevertaling, tekstsamenvatting, het beantwoorden van vragen en het genereren van natuurlijke talen. Hiermee kunnen software-ingenieurs algoritmen maken die hun eigen gedrag ontwikkelen door vele voorbeelden te analyseren. Voor taalgerelateerde taken voeden ingenieurs gedigitaliseerde inhoud van neurale netwerken zoals nieuwsverhalen, Wikipedia-pagina's en posts op sociale media. De neurale netten vergelijken de gegevens zorgvuldig en nemen nota van hoe bepaalde woorden anderen volgen in terugkerende reeksen. Vervolgens veranderen ze deze patronen in complexe wiskundige vergelijkingen die hen helpen taalgerelateerde taken op te lossen, zoals het voorspellen van ontbrekende woorden in een tekstreeks. Over het algemeen geldt dat hoe meer trainingsgegevens u verstrekt aan een diepgaand leermodel, hoe beter het wordt in het uitvoeren van zijn taak.

Volgens OpenAI is GPT-2 getraind op 8 miljoen webpagina's en miljarden woorden, wat veel meer is dan andere, vergelijkbare modellen. Het maakt ook gebruik van geavanceerde AI-modellen om tekstpatronen beter toe te passen. Voorbeelduitvoer van GPT-2 laat zien dat het model erin slaagt de samenhang in langere reeksen tekst te behouden dan zijn voorgangers.

Maar hoewel GPT-2 een stap vooruit is op het gebied van het genereren van natuurlijke talen, is het geen technologische doorbraak in de richting van het creëren van AI die de betekenis en context van geschreven tekst kan begrijpen. GPT-2 gebruikt nog steeds algoritmen om reeksen woorden te maken die statistisch vergelijkbaar zijn met de miljarden tekstfragmenten die het eerder heeft gezien - het heeft absoluut geen begrip van wat het genereert.

In een diepgaande analyse wijst Tiernan Ray van ZDNet op verschillende gevallen waarin de outputmonsters van GPT-2 hun kunstmatige aard verraden met bekende artefacten zoals duplicatie van termen en gebrek aan logica en consistentie in feiten. "Wanneer GPT-2 verder gaat met schrijven dat meer ontwikkeling van ideeën en logica vereist, breken de scheuren vrij wijd open", merkt Ray op.

Statistisch leren kan computers helpen tekst te genereren die grammaticaal correct is, maar een dieper conceptueel begrip is vereist om logische en feitelijke consistentie te behouden. Helaas is dat nog steeds een uitdaging die de huidige melanges van AI niet hebben overwonnen. Daarom kan GPT-2 mooie alinea's tekst genereren, maar zou het waarschijnlijk moeilijk zijn om een ​​authentiek longform-artikel te genereren of iemand op een overtuigende manier en gedurende een langere periode na te bootsen.

Waarom AI Fake-News Panic Overblown is

Een ander probleem met de redenering van OpenAI: het gaat ervan uit dat AI een nepnieuwscrisis kan veroorzaken.

In 2016 verspreidde een groep Macedonische tieners nepnieuws over miljoenen Amerikaanse presidentsverkiezingen. Ironisch genoeg hadden ze niet eens de juiste Engelse vaardigheden; ze vonden hun verhalen op het web en hechtten uiteenlopende inhoud aan elkaar. Ze waren succesvol omdat ze websites creëerden die er authentiek genoeg uitzagen om bezoekers te overtuigen hen te vertrouwen als betrouwbare nieuwsbronnen. Sensationele krantenkoppen, nalatige gebruikers van sociale media en trending algoritmen deden de rest.

In 2017 veroorzaakten kwaadwillende actoren een diplomatieke crisis in de Perzische Golfregio door het hacken van door Qatari gerunde nieuwswebsites en sociale media-accounts van de overheid en het publiceren van valse opmerkingen namens Sheikh Tamim bin Hamad Al Thani, de Emir van Qatar.

Zoals deze verhalen laten zien, hangt het succes van nepnieuwscampagnes af van het vestigen (en verraden) van vertrouwen, niet van het genereren van grote hoeveelheden coherente Engelse tekst.

OpenAI's waarschuwingen over het automatiseren van de productie van nepinhoud om op sociale media te plaatsen, zijn echter meer gerechtvaardigd, omdat schaal en volume een belangrijkere rol spelen in sociale netwerken dan in traditionele media. De veronderstelling is dat een AI zoals GPT-2 in staat zal zijn om sociale media te overspoelen met miljoenen unieke berichten over een specifiek onderwerp, die trending algoritmen en openbare discussies beïnvloeden.

Maar toch, de waarschuwingen schieten tekort bij de realiteit. In de afgelopen jaren hebben sociale media-bedrijven voortdurend mogelijkheden ontwikkeld om geautomatiseerd gedrag te detecteren en te blokkeren. Dus een kwaadwillende acteur gewapend met een tekstgenererende AI zou een aantal uitdagingen moeten overwinnen, behalve het creëren van unieke inhoud.

Ze zouden bijvoorbeeld duizenden valse social media-accounts nodig hebben om hun door AI gegenereerde inhoud te posten. Nog moeilijker, om ervoor te zorgen dat er geen manier is om de nepaccounts te verbinden, zouden ze een uniek apparaat en IP-adres voor elke account nodig hebben.

Het wordt nog erger: de accounts moeten op verschillende tijdstippen worden aangemaakt, mogelijk meer dan een jaar of langer, om overeenkomsten te verminderen. Vorig jaar bleek uit een onderzoek van de New York Times dat alleen het maken van accounts kon helpen bij het ontdekken van bot-accounts. Om vervolgens hun geautomatiseerde aard verder te verbergen voor andere gebruikers en politionele algoritmen, zouden de accounts menselijk gedrag moeten vertonen, zoals interactie met andere gebruikers en een unieke toon in hun berichten instellen.

Geen van deze uitdagingen is onmogelijk te overwinnen, maar ze laten zien dat inhoud slechts een deel is van de inspanningen die nodig zijn om een ​​nepnieuwscampagne op sociale media te voeren. En nogmaals, vertrouwen speelt een belangrijke rol. Een paar vertrouwde social media-beïnvloeders die een paar nepnieuwsposten plaatsen, zullen een grotere impact hebben dan een stel onbekende accounts die grote hoeveelheden inhoud genereren.

Ter verdediging van de waarschuwingen van OpenAI

De overdreven waarschuwingen van OpenAI veroorzaakten een cyclus van mediahype en paniek die ironisch genoeg grensde aan nepnieuws zelf, wat aanleiding gaf tot kritiek van gerenommeerde AI-experts.

Ze nodigden mensen uit de media uit om vroegtijdig toegang te krijgen tot de resultaten, met een persembargo zodat het allemaal op dezelfde dag openbaar werd. Geen onderzoekers die ik ken hebben het grote model gezien, maar journalisten wel. Ja, ze hebben het met opzet opgeblazen.

- Matt Gardner (@nlpmattg) 19 februari 2019

Elke nieuwe mens kan mogelijk worden gebruikt om nepnieuws te genereren, complottheorieën te verspreiden en mensen te beïnvloeden.

Moeten we dan stoppen met het maken van baby's?

- Yann LeCun (@ylecun) 19 februari 2019

Ik wilde jullie allemaal op de hoogte brengen, ons lab vond een geweldige doorbraak in taalbegrip. maar we maken ons ook zorgen dat het in verkeerde handen kan vallen. dus we besloten het te schrappen en in plaats daarvan alleen de normale * ACL-dingen te publiceren. Groot respect voor het team voor hun geweldige werk.

- (((? () (? () 'Yoav)))) (@yoavgo) 15 februari 2019

Zachary Lipton, AI-onderzoeker en redacteur van Approximately Correct, wees op de geschiedenis van OpenAI van "het gebruik van hun blog en grote aandacht voor katapult onvolwassen werk in de publieke opinie, en vaak de menselijke veiligheidsaspecten van werk dat nog geen intellectuele benen om op te staan."

Hoewel OpenAI alle kritiek en hitte verdient die het heeft ontvangen na zijn misleidende opmerkingen, is het ook terecht om oprecht bezorgd te zijn over het mogelijke kwaadaardige gebruik van zijn technologie, zelfs als het bedrijf een onverantwoorde manier gebruikte om het publiek hierover te informeren.

  • Het AI Industrie Jaar van Ethische Reckoning Het AI Industrie Jaar van Ethische Reckoning
  • Oneerlijk voordeel: verwacht niet dat AI als een mens speelt Oneerlijk voordeel: verwacht niet dat AI als een mens speelt
  • Deze AI voorspelt online trollen voordat het gebeurt Deze AI voorspelt online trollen voordat het gebeurt

In de afgelopen jaren hebben we gezien hoe AI-technologieën zonder nadenken en reflectie openbaar kunnen worden gemaakt voor kwaadaardige bedoelingen. Een voorbeeld was FakeApp, een AI-toepassing die gezichten in video's kan verwisselen. Kort nadat FakeApp werd uitgebracht, werd het gebruikt om nepporno-video's te maken met beroemdheden en politici, wat zorgde over de dreiging van AI-aangedreven vervalsing.

De beslissing van OpenAI laat zien dat we moeten pauzeren en nadenken over de mogelijke gevolgen van openbaarmaking van technologie. En we moeten actiever discussiëren over de risico's van AI-technologieën.

"Eén organisatie die een bepaald project pauzeert, zal op de lange termijn niets echt veranderen. Maar OpenAI krijgt veel aandacht voor alles wat ze doen… en ik denk dat ze applaus moeten krijgen voor het in de schijnwerpers zetten van deze kwestie, " David Bau, een onderzoeker bij MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL), vertelde Slate.

Hoe de nepnieuwswaarschuwingen van openai daadwerkelijk nepnieuws veroorzaakten