Hoe Google's puzzel probeert het internet te ontgiften

Het internet kan voelen als een giftige plek. Trollen dalen af ​​op commentaarsecties en sociale media om haat te verslaan met spraak en pesten, waardoor potentieel verhelderende discussies worden omgezet in ad hominem-aanvallen en groepstapels. Online een mening uiten lijkt het resulterende vitriool vaak niet waard.

Massale sociale platforms - waaronder Facebook, Twitter en YouTube - geven toe dat ze deze kwesties niet adequaat kunnen bewaken. Ze zijn in een wapenwedloop met bots, trollen en elke andere ongewenste persoon die door inhoudfilters glijdt. Mensen zijn fysiek niet in staat om elke opmerking op internet te lezen; degenen die het proberen, hebben er vaak spijt van.

Technische reuzen hebben geëxperimenteerd met verschillende combinaties van menselijke moderatie, AI-algoritmen en filters om elke dag door de stortvloed van content te waden die door hun feeds stroomt. Jigsaw probeert een middenweg te vinden. De Alphabet-dochter en tech-incubator, voorheen bekend als Google Ideas, begint te bewijzen dat machine learning (ML), gevormd in tools voor menselijke moderators, de manier kan veranderen waarop we het toxiciteitsprobleem van internet aanpakken.

Perspective is een API ontwikkeld door Jigsaw en het Counter Abuse Technology-team van Google. Het gebruikt ML om misbruik en intimidatie online te herkennen en scoort commentaren op basis van de waargenomen impact die ze op een gesprek kunnen hebben in een poging om het leven van menselijke moderators gemakkelijker te maken.

Perspectief temidden van de schreeuwende wedstrijden

De open-source technologie werd voor het eerst aangekondigd in 2017, hoewel de ontwikkeling ervan enkele jaren eerder begon. Enkele van de eerste sites die met Perspective experimenteerden, waren nieuwspublicaties zoals The New York Times en sites zoals Wikipedia. Maar recent heeft Perspective een thuis gevonden op sites als Reddit en het commentaarplatform Disqus (dat wordt gebruikt op PCMag.com.)

CJ Adams, productmanager voor Perspective, zei dat het project wilde onderzoeken hoe de stemmen van mensen online tot zwijgen worden gebracht. Jigsaw wilde onderzoeken hoe gericht misbruik of een algemene sfeer van intimidatie een huiveringwekkend effect kan hebben, waardoor mensen worden ontmoedigd tot het punt dat ze het de tijd of energie niet waard vinden om hun stem aan een discussie toe te voegen. Hoe vaak heb je een tweet, bericht of opmerking gezien en ervoor gekozen om niet te reageren omdat vechten tegen trollen en Mad Online krijgen gewoon de verergering niet waard is?

"Het is heel gemakkelijk om een ​​online gesprek te verpesten, " zei Adams. "Het is gemakkelijk om erin te springen, maar één persoon die echt gemeen of giftig is, kan andere stemmen verdrijven. Misschien lezen 100 mensen een artikel of beginnen een debat, en vaak eindig je met de luidste stemmen in de kamer als de enige overgebleven, op een internet dat is geoptimaliseerd voor likes en shares. Dus al deze stemmen zwijgen. Wat het debat dan definieert, is gewoon de luidste stem in de kamer - de schreeuwende wedstrijd. '

Jigsaw en Google

Het is een moeilijk jaar geweest voor het zusterbedrijf van Jigsaw, Google, dat worstelt met problemen met gegevensbeveiliging, terugdringing door werknemers van haar betrokkenheid bij projecten voor het Pentagon en China, en onthullingen over de behandeling van seksuele intimidatie. Om nog maar te zwijgen over een omstreden congres waarin CEO Sundar Pichai werd gegrild door wetgevers.

Bij Jigsaw, de altruïstische incubator van Alphabet, waren de dingen iets minder dramatisch. Het team heeft zijn tijd besteed aan het onderzoeken van meer technische vormen van censuur, zoals DNS-vergiftiging met zijn Intra-app en DDoS-aanvallen met Project Shield. Met Perspective is het doel abstracter. In plaats van machine learning te gebruiken om te bepalen wat wel of niet tegen een bepaalde set regels is, is de uitdaging van Perspective een intens subjectieve uitdaging: het classificeren van de emotionele impact van taal.

Om dat te doen, heb je natuurlijke taalverwerking (NLP) nodig, die een zin afbreekt om patronen te herkennen. Het Perspective-team kampt met problemen zoals voorkeur voor bevestiging, groepsdenken en intimiderend gedrag in een omgeving waar technologie hun bereik heeft vergroot en moeilijker op te lossen heeft gemaakt.



AI is 'soms verkeerd en stom'

Het verbeteren van online gesprekken met machine learning is geen eenvoudige taak. Het is nog steeds een opkomend onderzoeksgebied. Algoritmen kunnen bevooroordeeld zijn, machine learning-systemen vereisen eindeloze verfijning en de moeilijkste en belangrijkste problemen zijn nog grotendeels onontgonnen.

De Conversation AI-onderzoeksgroep, die Perspective creëerde, begon met een ontmoeting met kranten, uitgevers en andere sites die gesprekken hosten. Enkele van de eerste sites die met de technologie experimenteerden, waren The New York Times , Wikipedia, The Guardian en The Economist .

In 2017 opende het team de initiële Perspective-demo via de openbare website als onderdeel van een alfatest, waardoor mensen miljoenen gemene, beledigende opmerkingen op de site konden typen. Het leek een beetje op het beruchte mislukte Tay chatbot-experiment van Microsoft, behalve dat Jigsaw de crowdsourced virulentie als trainingsgegevens gebruikte om zijn modellen te voeden en te helpen bij het identificeren en categoriseren van verschillende soorten online misbruik.

De eerste openbare testrun verliep niet soepel. Wired's "Trolls Across America", die toxiciteit in het hele land op basis van Perspective-scores verbrak, liet zien hoe het algoritme per ongeluk groepen discrimineerde op basis van ras, geslachtsidentiteit of seksuele geaardheid.

Adams was openhartig over het feit dat de eerste tests van Perspective grote blinde vlekken en algoritmische vertekening aan het licht brachten. Net als de afgedankte wervingstool van Amazon, die getraind is op decennia van gebrekkige taakgegevens en een inherente voorkeur voor vrouwelijke sollicitanten heeft ontwikkeld, hadden de vroege Perspective-modellen opvallende fouten vanwege de gegevens waarop deze was getraind.

"In het voorbeeld van vaak getargete groepen, als je naar de verdeling over de opmerkingen in de trainingsdataset keek, was er een verdwijnend klein aantal opmerkingen met het woord 'homo' of 'feministe' en gebruikten het positief ", aldus Adams. "Beledigende opmerkingen gebruiken de woorden als beledigingen. Dus de ML, kijkend naar de patronen, zou zeggen:" Hé, de aanwezigheid van dit woord is een vrij goede voorspeller van het feit of dit sentiment giftig is."

Het alfa-algoritme heeft bijvoorbeeld ten onrechte verklaringen als 'Ik ben een trotse homoseksuele man' of 'Ik ben een feminist en transgender' met hoge toxiciteitsscores genoemd. Maar het publiekelijk transparante trainingsproces - hoewel pijnlijk - was een onschatbare les voor Jigsaw in de gevolgen van onbedoelde vooringenomenheid, zei Adams.

Bij het trainen van modellen voor machine-learning op zoiets verontrustends en persoonlijks als online misbruik en intimidatie, onderstreept het bestaan ​​van algoritmische bias ook waarom AI alleen niet de oplossing is. Sociale bedrijven zoals Facebook en YouTube hebben beide de AI-content-moderatiefuncties van hun platformen aangeprezen om alleen terug te keren te midden van schandaal en koerscorrectie door duizenden menselijke moderators in te huren.

Jigsaw's tack is een hybride van de twee. Perspectief is geen AI-algoritme die beslissingen in een vacuüm neemt; de API is geïntegreerd in interfaces voor gemeenschapsbeheer en inhoudsbeheer om te dienen als een hulpmiddel voor menselijke moderators. Perspectiefingenieurs beschrijven het modereren van haatzaaiende spraak met en zonder ML met behulp van een hooiberganalogie: AI helpt door het sorteerproces te automatiseren, enorme hooibergen naar beneden te halen en toch mensen het laatste woord te geven over of een opmerking als misbruik of intimidatie wordt beschouwd.

"Het is deze nieuwe mogelijkheid van ML, " zei Adams. "Mensen praten over hoe slim AI is, maar ze praten vaak niet over alle manieren waarop het soms fout en dom is. Vanaf het begin wisten we dat dit veel fouten zou maken, en dus zeiden we: 'Dit tool is handig voor machinaal ondersteunde menselijke moderatie, maar het is niet klaar om automatische beslissingen te nemen. ' Maar het kan het probleem van de 'naald in een hooiberg' vinden om deze giftige toespraak te vinden en het tot een handvol hooi brengen. '



Wat is een toxiciteitsscore?

Het meest verdeeldheid van het modelleren van Perspective is het plaatsen van getallen in een variabele die zo subjectief is als 'toxiciteit'. Het eerste waar Adams op wees, is dat de scores van Perspective een indicatie zijn van waarschijnlijkheid, niet van ernst. Hogere getallen vertegenwoordigen een grotere kans dat patronen in de tekst lijken op patronen in opmerkingen die mensen als giftig hebben getagd.

Wat "toxisch" eigenlijk betekent, het Perspective-team definieert het in grote lijnen als "een onbeleefde, respectloze of onredelijke opmerking die u waarschijnlijk een discussie zal doen verlaten." Maar hoe dat zich manifesteert, kan subtiel zijn. In 2018 werkte Jigsaw samen met het Rhodes Artificial Intelligence Lab (RAIL) om ML-modellen te ontwikkelen die meer dubbelzinnige vormen van dreigende of hatelijke spraak kunnen oppikken, zoals een afwijzende, neerbuigende of sarcastische opmerking die niet openlijk vijandig is.

Tot nu toe zijn de meeste modellen van Perspective getraind door mensen te vragen om reacties op internet te beoordelen op een schaal van "zeer giftig" tot "zeer gezond". Ontwikkelaars kunnen het model vervolgens kalibreren om opmerkingen boven een bepaalde drempel, van 0, 0 tot 1, 0, te markeren. Een score boven 0, 9 geeft een hoge waarschijnlijkheid van toxiciteit aan, en een score van 0, 5 of lager betekent een veel lagere graad van algoritmische zekerheid. Perspective maakt ook gebruik van zogenaamde score-normalisatie, waardoor ontwikkelaars een consistente basislijn hebben om scores te interpreteren. Adams legde uit dat ontwikkelaars modellen kunnen mixen en matchen, afhankelijk van het forum of de website. Dus als een gemeenschap niet van godslastering houdt, kan dat kenmerk worden afgewogen.

Adams liet me een demo-moderatie-interface zien die is geïntegreerd met de Perspective API. In het admin-paneel staat naast de opties om reacties te sorteren op top, nieuwste, enzovoort, een klein vlagpictogram om te sorteren op toxiciteit. Er is ook een ingebouwd feedbackmechanisme voor de menselijke moderator om Perspective te vertellen dat het een opmerking onjuist heeft gescoord en het model in de loop van de tijd heeft verbeterd.

Hij heeft door een demo-interface geklikt voor het modereren van Wikipedia Talk-paginacommentaren gescoord door verschillende Perspective-modellen, en een histogramgrafiek waarin wordt aangegeven welke reacties waarschijnlijk een aanval op een auteur van een pagina of een aanval op een andere commentator zijn.

"We willen machineondersteunde moderatietools bouwen om dingen voor een mens te markeren, maar we willen niet dat een centrale definitie of iemand zegt wat goed en slecht is, " zei Adams. "Dus als ik sorteer op toxiciteit, zie je gemene reacties bovenaan. Maar als je meer geeft om, laten we zeggen, identiteitsaanvallen of bedreigingen dan statistieken zoals vloeken, zou je misschien geen algemeen toxiciteitsmodel gebruiken. Dit zijn de ingrediënten die je kunt mixen. We bieden deze en ontwikkelaars wegen ze."

Het RAIL-experiment volgt een meer gedetailleerde aanpak. De Oxford-gradstudenten bouwen een gegevensset van tienduizenden opmerkingen van de commentarensectie van de Canadese krant Globe and Mail en de Wikipedia Talk-pagina's. Ze vragen menselijke "annotators" om vragen te beantwoorden over elke opmerking met betrekking tot vijf subkenmerken van "ongezonde inhoud": vijandig of beledigend (trollen), minachtend, neerbuigend of betuttelend, sarcastische en oneerlijke generalisaties.

Door deze subtielere kenmerken aan te pakken, zijn nieuwe complexe problemen aan het licht gekomen met onbedoelde voorkeur voor specifieke groepen en valse positieven met sarcastische opmerkingen. Het maakt deel uit van AI-groeipijnen, voedt modellen steeds meer gegevens om het te helpen impliciete, indirecte betekenissen achter menselijke spraak te begrijpen. Het team doorzoekt en annuleert nog steeds duizenden opmerkingen en is van plan begin dit jaar de definitieve gegevensset uit te brengen.

"Waar we naar toe willen werken, is iets waar de community een reeks opmerkingen kan scoren, en dan kunnen we ze een aangepaste mix van bijpassende Perspectiefmodellen maken, " zei Adams.



Reddit's Curious Testbed

Reddit is een microkosmos van alles wat goed en verschrikkelijk is aan internet. Er is een subreddit-community voor elk onderwerp en elke niche, bizarre interesse die je kunt bedenken. Jigsaw werkt niet met Reddit op bedrijfsniveau, maar een van de meest intrigerende plaatsen waar de AI-moderatie van Perspective wordt getest, is op een subreddit genaamd r / changemyview.

Verrassend genoeg zijn er hoeken van het internet waar echt debat en discussie nog steeds plaatsvinden. Wijzig mijn weergave of CMV is niet zoals de meeste andere subreddits. Het idee is om een ​​mening te posten die je accepteert als mogelijk onjuist is of openstaat voor verandering, en vervolgens te luisteren naar en inzicht te krijgen in andere gezichtspunten om te zien of ze van mening kunnen veranderen over een kwestie. De onderwerpen variëren van alledaagse onderwerpen zoals de juiste kijkvolgorde voor Star Wars- films tot serieuze discussies over kwesties als racisme, politiek, wapenbeheersing en religie.

Change My View is een interessant testbed voor Perspective omdat de subreddit zijn eigen gedetailleerde set regels heeft voor het starten en modereren van gesprekken die aanleiding geven tot discussie en verhit debat door ontwerp. Kal Turnbull, die langs u / Snorrrlax gaat op Reddit, is de oprichter en een van de moderators van r / changemyview. Turnbull vertelde PCMag dat de Perspective API bijzonder goed aansluit bij Regel 2 van de sub, die in feite onbeleefde of vijandige spraak verbiedt.

"Het klinkt als een simpele regel, maar er is veel nuance aan", zegt Turnbull, die in Schotland is gevestigd. “Het is moeilijk om deze regel te automatiseren zonder slim te zijn in taal. Reddit biedt je dit ding genaamd AutoModerator, waar je filters en trefwoorden kunt instellen voor markeren. Maar er zijn zoveel valse positieven, en het kan heel moeilijk zijn om te vangen, omdat iemand een slecht woord kan zeggen zonder iemand te beledigen, en ze kunnen ook iemand beledigen zonder slechte woorden te gebruiken."

Jigsaw stak zijn hand uit naar Turnbull in maart 2018. De samenwerking begon met regel 2, maar al snel bouwde het team ook perspectiefmodellen voor andere regels. Het is geen volledige integratie van de open-source Perspective API, maar eerder een Reddit-bot waarmee moderators opmerkingen kunnen scoren die boven een bepaalde toxiciteitsdrempel zijn gescoord.

De afgelopen zes jaar hebben Turnbull en de andere mods dit allemaal handmatig gedaan vanuit de wachtrij van AutoModerator-rapporten (gemarkeerde trefwoorden) en gebruikersrapporten. Jigsaw gebruikte jarenlang aantekeningen van regelovertredingen van moderators, die ze volgden via een browserextensie, en bouwde Perspective-modellen op basis van die gegevens in combinatie met enkele bestaande toxiciteitsmodellen van Perspective. Gedurende 2018 gaven de CMV-mods feedback over zaken als overtollig vals positieven en legde Jigsaw de scoringsdrempels aan, terwijl ze meer van de regels van CMV bleef modelleren.



Complexe uitspraken in online debat

(De Perspective-bot geïntegreerd in de Reddit-moderatorinterface.)

Perspectief is niet live voor alle regelmoderatie van de subreddit. Sommige van de meer gecompliceerde of abstracte regels vallen nog steeds buiten het bereik van wat dit soort ML kan begrijpen.

Regel 4 regelt bijvoorbeeld het delta-puntensysteem van de sub, terwijl regel B voorkomt dat gebruikers de advocaat van de duivel spelen of een functie gebruiken voor 'soapboaxing'. Genuanceerde moderatie zoals deze vereist contextuele gegevens en gewoon menselijk begrip, om te onderscheiden of iemand een punt argumenteert om echte redenen of gewoon trollen.

Voor de nabije toekomst hebben we nog steeds menselijke mods nodig. In deze meer complexe beoordelingsscenario's beginnen de CMV-moderators barsten te zien in de AI-modellering, en een slimmere automatisering kan bepalen of dit allemaal schaalbaar is.

"Ik denk dat de reden waarom dit zo ingewikkeld is, is omdat het een combinatie is van ons oordeel over hun oorspronkelijke bericht en hun interacties gedurende het hele gesprek. Het is dus niet slechts één opmerking die een model triggert, " zei Turnbull. "Als een ruzie heen en weer gaat, en aan het einde een opmerking is met 'dank u' of een erkenning, laten we het gaan, zelfs als een regel eerder in de draad werd overtreden. Of een luchtige grap dat in context lijkt misschien onbeleefd - het is een leuk klein menselijk ding, en dat is iets wat de bot nog niet begrijpt."

Change My View is de enige subreddit die momenteel Perspective ML-modellen gebruikt voor moderatie, hoewel Adams zei dat het team toegangsverzoeken heeft ontvangen van verschillende anderen. De specifieke regelset van CMV maakte het een ideale testcase, maar Perspective-modellen zijn kneedbaar; individuele subreddits kunnen het score-algoritme aanpassen aan hun communityrichtlijnen.

De volgende stap voor Turnbull is het verwijderen van CMV van Reddit omdat de gemeenschap het ontgroeit, zei hij. De afgelopen zes maanden werkte de nieuw gevormde start-up van de moderators met Jigsaw op een speciale site met diepere functionaliteit dan de mod-interface en bots van Reddit.

Het project is nog steeds alleen in alfatests, maar Turnbull sprak over functies zoals proactieve waarschuwingen wanneer een gebruiker een opmerking typt die een regel zou kunnen breken, ingebouwde rapportage om moderators meer context te geven en historische gegevens om beslissingen te nemen. Turnbull benadrukte dat er geen plannen zijn om de subreddit af te sluiten of te migreren, maar hij is enthousiast over het nieuwe experiment.

• Alle opmerkingen die geschikt zijn om te worden afgedrukt

  Afhankelijk van de dag van de week krijgt de website van The New York Times 12.000 tot meer dan 18.000 reacties. Tot medio 2017 werden de commentarensecties van de krant gemodereerd door een fulltime community management-staf die elke afzonderlijke opmerking las en besliste om deze goed te keuren of af te wijzen.

  Bassey Etim, die tot deze maand de community-editor voor de Times was , bracht een decennium door aan de Community-desk en was de editor sinds 2014. Op het hoogtepunt van een weekdag heeft het team misschien een paar mensen die reacties op opinieversissen modereren, terwijl andere aangepakt nieuwsverhalen. Een spreadsheet splitste zich op en volgde verschillende verantwoordelijkheden, maar het team van ongeveer een dozijn mensen werd voortdurend opnieuw toegewezen of verplaatst, afhankelijk van het laatste nieuws van het moment. Ze voedden ook weetjes uit de commentaren terug naar verslaggevers voor mogelijk veevoeder.

  Uiteindelijk werd duidelijk dat dit meer dan 12 mensen aankonden. Commentaarsecties over verhalen zouden moeten worden afgesloten na het bereiken van een maximum aantal reacties dat het team kon modereren.

  De publieksgroep van de krant experimenteerde al met machine learning voor eenvoudige, voor de hand liggende commentaargoedkeuringen, maar Etim zei dat het niet bijzonder slim of aanpasbaar was. The Times kondigde voor het eerst zijn samenwerking met Jigsaw aan in september 2016. Sindsdien zijn de commentarensecties uitgebreid van verschijnen op minder dan 10 procent van alle verhalen tot ongeveer 30 procent vandaag en klimmen.

  Vanuit het perspectief van Jigsaw zag de incubator de mogelijkheid om geanonimiseerde Perspective-gegevens te voeden op basis van miljoenen commentaren per dag, gemodereerd door professionals die het proces konden helpen verfijnen. In ruil voor de geanonimiseerde ML-trainingsgegevens, hebben Jigsaw en Times samen een platform gebouwd met de naam Moderator, dat in juni 2017 werd uitgerold.



Inside Moderator, de NYT reactie-interface

(Afbeelding afkomstig van The New York Times )

Moderator combineert de modellen van Perspective met meer dan 16 miljoen geanonimiseerde, gemodereerde Times- commentaren die teruggaan tot 2007.

Wat het communityteam daadwerkelijk ziet in de Moderator-interface is een dashboard met een interactief histogram dat de uitsplitsing van opmerkingen boven een bepaalde drempel visualiseert. Ze kunnen de schuifregelaar bijvoorbeeld heen en weer slepen om alle opmerkingen automatisch goed te keuren met alleen een overzichtsscore van 0 tot 20 procent, die is gebaseerd op een combinatie van het potentieel van een opmerking voor obsceniteit, toxiciteit en kans om te worden afgewezen. Hieronder staan ​​snelle moderatieknoppen om een ​​opmerking goed te keuren of te weigeren, uit te stellen of de opmerking te taggen, om de modellering van Perspective te blijven verbeteren.

"Voor elk deel van de website hebben we inkomende reacties geanalyseerd en de manier waarop Perspective ze zou taggen. We gebruikten zowel de openbare Perspective-modellen als onze eigen modellen die uniek zijn voor The New York Times , " zei Etim. "Ik zou de commentaren van elke sectie analyseren en proberen het afkappunt te vinden waar we ons comfortabel zouden voelen door te zeggen: 'OK, alles boven deze waarschijnlijkheid met behulp van deze specifieke toxiciteitstags, zoals obsceniteit, gaan we goedkeuren.'

Machine learning is het goedkeuren van een relatief klein percentage reacties (ongeveer 25 procent of zo, zei Etim) omdat The Times werkt om reacties op meer verhalen uit te rollen en uiteindelijk zelfs aan te passen hoe de modellen reacties filteren en goedkeuren voor verschillende delen van de site. De modellen keuren alleen opmerkingen goed; afwijzing wordt nog steeds volledig afgehandeld door menselijke moderators.

Die handmatige commentaaruitsnijdingen zijn verdwenen. Reacties sluiten meestal af op een verhaal, 24 uur nadat het online is gepubliceerd of de dag nadat het in druk is gepubliceerd, zei Etim.

'We vervangen u niet door machines'

De volgende fase is het inbouwen van meer functies in het systeem om moderators te helpen prioriteren welke opmerkingen ze eerst moeten bekijken. Door het automatiseren van wat altijd een handmatig proces is geweest, hebben moderators steeds vaker tijd besteed aan proactief samenwerken met verslaggevers om op reacties te reageren. Het heeft een feedbackloop gecreëerd waarbij opmerkingen leiden tot vervolgrapportage en extra verhalen. Hiermee kunnen bronnen worden opgeslagen en opnieuw worden toegewezen om meer journalistiek te creëren.

"Moderator en Perspective hebben de Times een stuk responsiever gemaakt voor de zorgen van lezers, omdat we de middelen hebben om dat te doen, of het nu is door zelf verhalen te schrijven of met verslaggevers samen te werken om verhalen te achterhalen, " zei Etim. "Het leuke van dit project is dat we niemand hebben ontslagen. We vervangen je niet door machines. We gebruiken gewoon de mensen die we efficiënter hebben en maken de echt moeilijke beslissingen."

De krant staat open voor samenwerking met andere publicaties om de rest van de industrie te helpen dit soort technologie te implementeren. Het kan lokale nieuwsbronnen helpen met beperkte middelen om commentaarsecties te onderhouden zonder een grote toegewijde staf en om opmerkingen te gebruiken zoals de Times doet, om potentiële leads te vinden en journalistiek te voeden.

Etim vergeleek AI-geassisteerde moderatie om een ​​boer een mechanische ploeg te geven versus een schop. Je kunt het werk veel beter doen met een ploeg.

"Als Perspective op de juiste manier kan evolueren, kan het, hopelijk, ten minste een reeks richtlijnen creëren die voor kleine verkooppunten kunnen worden herhaald, " zei hij. "Het is een lang spel, maar we hebben al een groot deel van de basis opgezet om deel uit te maken van die lezerservaring. Dan kunnen deze lokale kranten misschien weer opmerkingen hebben en een klein strandhoofd vormen tegen de grote sociale spelers."



Schreeuwend in de afgrond

Op dit moment hebben de meesten van ons mensen op sociale media aangevallen of lastiggevallen voor het uiten van een mening. Niemand wil dat het hen overkomt, behalve trollen die van dat soort dingen gedijen. En we hebben geleerd dat schreeuwen naar een vreemdeling die nooit naar een rationeel argument gaat luisteren, geen waardevol gebruik van onze tijd is.

Perspective probeert die dynamiek te verbeteren, maar CJ Adams zei dat het bredere doel is om gegevens, onderzoek en nieuwe open-source UX-modellen te publiceren om nieuwe gespreksstructuren te creëren - een ontmoedigende taak. Het internet een gezonde plek maken die de tijd van mensen waard is, betekent dat deze systemen verder moeten worden geschaald dan nieuwscommentaren en subreddits. Uiteindelijk moeten de AI-tools kunnen omgaan met de gigantische sociale apps en netwerken die onze dagelijkse digitale interacties domineren.

Afgezien van wat Facebook, Twitter en andere sociale reuzen intern doen, is de meest directe manier om dit te bereiken de technologie van moderators naar gebruikers zelf te brengen. Adams wees naar het Coral Project voor een idee van hoe dat eruit zou kunnen zien.

Het Coral Project is in eerste instantie opgericht als een samenwerking tussen de Mozilla Foundation, The New York Times en de Washington Post. Coral bouwt open-source tools zoals het Talk-platform om online discussie aan te moedigen en nieuwssites een alternatief te bieden voor het afsluiten van commentaarsecties. Talk ondersteunt momenteel platforms voor bijna 50 online uitgevers, waaronder de Post , New York Magazine, The Wall Street Journal en The Intercept.

Eerder deze maand verwierf Vox Media het Coral Project van de Mozilla Foundation; het is van plan het "diep te integreren" in Chorus, het platform voor contentbeheer en storytelling.

Perspective heeft een plug-in voor het Coral Project dat dezelfde onderliggende technologie gebruikt - ML-gebaseerde toxiciteitsscores en drempels - om gebruikers proactieve suggesties te geven terwijl ze typen, zei Adams. Dus wanneer een gebruiker een opmerking schrijft met zinnen die zijn gemarkeerd als misbruik of intimidatie, kan er een melding voor de gebruiker verschijnen met de tekst: "Vergeet niet onze communityrichtlijnen te onthouden" of "De taal in deze opmerking kan onze website schenden communityrichtlijnen. Ons moderatieteam zal dit binnenkort beoordelen."

"Dat kleine duwtje kan mensen helpen om even na te denken, maar het blokkeert ook niemand, " zei Adams. "Het stopt de discussie niet."

Het is een mechanisme dat videogame-chat en streamingplatforms hebben geïntegreerd om misbruik en intimidatie tegen te gaan. Twitter-gebruikers kunnen duidelijk ook profiteren van een dergelijk systeem.

Het spreekt een idee aan dat MIT-onderzoekswetenschapper Andrew Lippmann ter sprake bracht in PCMag's Future Issue: hij sprak over ingebouwde mechanismen waarmee mensen konden stoppen en nadenken voordat ze iets online deelden, om de verspreiding van verkeerde informatie te stoppen. Het concept is ook van toepassing op online discussie. We hebben wrijvingsloze communicatiesystemen gecreëerd die in staat zijn om het bereik van een statement in een oogwenk exponentieel te vergroten, maar soms kan een beetje wrijving een goede zaak zijn, zei Lippmann.

Perspectief gaat niet over het gebruik van AI als algemene oplossing. Het is een manier om ML-modellen te vormen tot hulpmiddelen voor mensen om hen te helpen hun eigen ervaringen samen te stellen. Maar een contrapunt is dat als je het nog gemakkelijker maakt voor mensen om het online geluid dat ze niet leuk vinden, af te stemmen, het internet nog meer een echokamer wordt dan het al is.

Gevraagd of tools als Perspective dit uiteindelijk zouden kunnen verergeren, zei Adams dat hij gelooft dat online echokamers bestaan ​​omdat er geen mechanismen zijn om een ​​discussie te organiseren waar mensen het oneens kunnen zijn.

"Het pad van de minste weerstand is:" Deze mensen vechten. Laten we het gewoon eens zijn met zichzelf in hun eigen hoeken. Laat mensen zichzelf silo, "" zei hij. "Je laat mensen iedereen de kamer uit schreeuwen, of je sluit de discussie. We willen dat Perspective een derde optie creëert."

Adams heeft een voorbeeldscenario opgesteld. Als je een kamer van 1000 mensen vraagt: "Hoeveel van jullie hebben vandaag iets gelezen waar je echt om gaf?" de meeste internetgebruikers wijzen op een artikel, een tweet, een bericht of iets dat ze online lezen. Maar als je hen dan vraagt: "Hoevelen van jullie vonden het de moeite waard om er commentaar op te geven of een discussie te voeren?" alle handen in de kamer zullen naar beneden gaan.

"Voor zovelen van ons is het gewoon de moeite niet waard. De discussiestructuur die we nu hebben, betekent alleen maar dat het een aansprakelijkheid is. Als je op dit moment een redelijke gedachte hebt of iets dat je wilt delen, doen ze dat voor de meeste mensen niet." t willen deelnemen, "zei Adams. "Dat betekent dat van die 1.000 mensen die in de kamer zouden kunnen zijn, je maar een handvol vertegenwoordigd hebt in de discussie; laten we zeggen 10 mensen. Ik heb er alle vertrouwen in dat we een structuur kunnen bouwen die die andere 990 terug in de discussie laat en doet het op een manier die ze hun tijd waard vinden."