Kunstmatige intelligentie heeft een bias-probleem en het is onze fout

In 2016 werkten onderzoekers van Boston University en Microsoft aan kunstmatige intelligentie-algoritmen toen ze racistische en seksistische neigingen ontdekten in de technologie die ten grondslag ligt aan enkele van de meest populaire en kritieke services die we dagelijks gebruiken. De openbaring ging in tegen de conventionele wijsheid dat kunstmatige intelligentie niet lijdt onder de gender-, raciale en culturele vooroordelen die wij mensen hebben.

De onderzoekers deden deze ontdekking tijdens het bestuderen van algoritmen voor het insluiten van woorden, een type AI dat correlaties en associaties tussen verschillende woorden vindt door het analyseren van grote hoeveelheden tekst. Een getraind algoritme voor het insluiten van woorden kan bijvoorbeeld begrijpen dat woorden voor bloemen nauw verwant zijn aan aangename gevoelens. Op een meer praktisch niveau begrijpt woordinsluiting dat de term "computerprogrammering" nauw verwant is met "C ++", "JavaScript" en "objectgeoriënteerde analyse en ontwerp." Wanneer deze functionaliteit is geïntegreerd in een CV-scanapplicatie, kunnen werkgevers gekwalificeerde kandidaten met minder moeite vinden. In zoekmachines kan het betere resultaten opleveren door inhoud weer te geven die semantisch gerelateerd is aan de zoekterm.

De onderzoekers van BU en Microsoft ontdekten echter dat de algoritmen voor het insluiten van woorden problematische vooroordelen hadden, zoals het associëren van "computerprogrammeurs" met mannelijke voornaamwoorden en "huisvrouw" met vrouwelijke voornaamwoorden. Hun bevindingen, die ze publiceerden in een onderzoeksartikel met de toepasselijke titel "Man is to Computer Programmer as Woman is to Homemaker?" was een van de vele rapporten om de mythe van AI-neutraliteit te ontkrachten en licht te werpen op algoritmische vooringenomenheid, een fenomeen dat kritieke dimensies bereikt naarmate algoritmen steeds meer betrokken raken bij onze dagelijkse beslissingen.

The Origins of Algorithmic Bias

Machine learning en deep-learning algoritmen liggen ten grondslag aan de meeste moderne AI-aangedreven software. In tegenstelling tot traditionele software, die werkt op basis van vooraf gedefinieerde en verifieerbare regels, creëert deep learning zijn eigen regels en leert hij bijvoorbeeld.

Om bijvoorbeeld een toepassing voor beeldherkenning te maken op basis van diepgaand leren, "programmeren" programmeurs het algoritme door het te voorzien van gelabelde gegevens: in dit geval foto's met de naam van het object dat ze bevatten. Als het algoritme eenmaal voldoende voorbeelden heeft verzameld, kan het gemeenschappelijke patronen verzamelen onder vergelijkbare labels en die informatie gebruiken om niet-gelabelde monsters te classificeren.

Dit mechanisme maakt diep leren mogelijk om veel taken uit te voeren die vrijwel onmogelijk waren met op regels gebaseerde software. Maar het betekent ook dat diepgaande software geheime of openlijke vooroordelen kan erven.

"AI-algoritmen zijn niet inherent bevooroordeeld", zegt professor Venkatesh Saligrama, die les geeft aan de afdeling Electrical and Computer Engineering van Boston University en werkte aan de algoritmen voor woordinbedding. "Ze hebben een deterministische functionaliteit en pikken eventuele tendensen op die al bestaan ​​in de gegevens waarop ze trainen."

De algoritmen voor het inbedden van woorden, getest door de onderzoekers van Boston University, zijn getraind op honderdduizenden artikelen van Google Nieuws, Wikipedia en andere online bronnen waarin sociale vooroordelen diep zijn ingebed. Als voorbeeld, vanwege de bredere cultuur die de tech-industrie domineert, komen mannelijke namen vaker voor met aan technologie gerelateerde taken - en dat leidt ertoe dat algoritmen mannen associëren met banen zoals programmeren en software-engineering.

"Algoritmen hebben niet de kracht van de menselijke geest om goed van kwaad te onderscheiden, " voegt Tolga Bolukbasi toe, een laatstejaars promovendus bij BU. Mensen kunnen de moraliteit van onze acties beoordelen, zelfs wanneer we besluiten om tegen ethische normen te handelen. Maar voor algoritmen zijn gegevens de ultieme bepalende factor.

Saligrama en Bolukbasi waren niet de eerste die alarm sloegen over deze vertekening. Onderzoekers van IBM, Microsoft en de Universiteit van Toronto onderstreepten de noodzaak om algoritmische discriminatie te voorkomen in een artikel dat in 2011 werd gepubliceerd. Destijds was algoritmische vooringenomenheid een esoterische zorg, en diep leren had zijn weg nog steeds niet gevonden in de mainstream. Tegenwoordig laat algoritmische vooringenomenheid al een stempel achter op veel van de dingen die we doen, zoals nieuws lezen, vrienden zoeken, online winkelen en video's bekijken op Netflix en YouTube.

De impact van Algorithmic Bias

In 2015 moest Google zich verontschuldigen nadat de algoritmen die zijn Photos-app aandreven twee zwarte mensen als gorilla's hadden getagd - misschien omdat de trainingsdataset niet genoeg foto's van zwarte mensen had. In 2016 waren van de 44 winnaars van een schoonheidswedstrijd beoordeeld door AI, bijna allemaal blank, een paar waren Aziatische en slechts één had een donkere huidskleur. Nogmaals, de reden was dat het algoritme vooral werd getraind met foto's van blanken.

Google Photos, jullie hebben het verpest. Mijn vriend is geen gorilla. pic.twitter.com/SMkMCsNVX4

- Jackyalciné reageert hier niet veel op. DM (@jackyalcine) 29 juni 2015

Meer recent ontdekte een test van IBM en Microsoft's gezichtsanalysediensten dat de algoritmen van de bedrijven vrijwel foutloos waren in het detecteren van het geslacht van mannen met een lichte huid, maar vaak vergisten zich bij het presenteren van foto's van vrouwen met een donkere huid.

Hoewel deze incidenten waarschijnlijk te verwaarlozen schade hebben veroorzaakt, kan hetzelfde niet worden gezegd van AI-algoritmen in meer kritieke domeinen, zoals gezondheidszorg, wetshandhaving en werving. In 2016 bleek uit een onderzoek door ProPublica dat COMPAS - AI-gestuurde software die het risico op recidive bij daders beoordeelt - bevooroordeeld was tegen mensen van kleur. De ontdekking was vooral verontrustend omdat rechters in sommige staten COMPAS gebruiken om te bepalen wie vrij rondloopt en wie in de gevangenis blijft.

In een ander geval bleek uit een onderzoek naar het advertentieplatform van Google, dat wordt aangedreven door diepgaande leeralgoritmen, dat mannen vaker advertenties te zien kregen voor goedbetaalde banen dan vrouwen. Een apart onderzoek vond een soortgelijk probleem met de vacatures van LinkedIn. Nog een ander toonde aan dat bevooroordeelde aanwervingsalgoritmen 50 procent meer kans hadden om een ​​interviewuitnodiging te sturen naar een persoon wiens naam Europees-Amerikaans was dan naar iemand met een Afrikaans-Amerikaanse naam.

Gebieden zoals goedkeuring van leningen, kredietwaardigheid en beurs lopen vergelijkbare bedreigingen.

Algoritmische vooringenomenheid is verder verontrustend vanwege de manier waarop het sociale vooroordelen zou kunnen versterken. Onder de illusie dat AI koud is, wiskundige berekening zonder vooroordelen of vooringenomenheid, kunnen mensen geneigd zijn algoritmisch oordeel te vertrouwen zonder het in twijfel te trekken.

In een interview met Wired UK constateerde Andrew Napoff, docent aan de criminaliteit van Edinburgh Napier University, dat de "tijd-onderdrukte, hulpbronnenintensieve" wereld van politiewerk ervoor kan zorgen dat wetshandhavers te veel op algoritmische beslissingen vertrouwen. "Ik kan me een situatie voorstellen waarin een politieagent meer op het systeem vertrouwt dan op zijn eigen besluitvormingsprocessen, " zei hij. "Gedeeltelijk kan dat zijn zodat je een beslissing kunt rechtvaardigen wanneer er iets misgaat."

Vertrouwen op bevooroordeelde algoritmen creëert een terugkoppeling: we nemen beslissingen die meer bevooroordeelde gegevens creëren die algoritmen vervolgens in de toekomst zullen analyseren en trainen.

Dit soort dingen gebeurt al op sociale media-netwerken zoals Facebook en Twitter. Algoritmen die de nieuwsfeeds uitvoeren, creëren "filterbellen", die inhoud weergeven die voldoet aan de voorkeuren en vooroordelen van gebruikers. Dit kan hen minder tolerant maken tegenover tegengestelde opvattingen en kan ook de samenleving verder polariseren door een wig te slaan door de politieke en sociale kloof.

"Algoritmische bias kan mogelijk invloed hebben op elke groep", zegt Jenn Wortman Vaughan, senior onderzoeker bij Microsoft. "Groepen die ondervertegenwoordigd zijn in de gegevens kunnen met name risico lopen."

In domeinen die al bekend staan ​​om bias, zoals de endemische discriminatie van vrouwen in de technologische industrie, kunnen AI-algoritmen die vooroordelen accentueren en leiden tot verdere marginalisering van groepen die niet goed vertegenwoordigd zijn.

Gezondheid is een ander kritisch domein, merkt Wortman op. "Het kan ernstige problemen veroorzaken als een machine learning-algoritme dat wordt gebruikt voor medische diagnose wordt getraind op gegevens van de ene populatie en daardoor niet goed presteert op anderen, " zegt ze.

Bias kan ook op subtielere manieren schadelijk zijn. "Vorig jaar was ik van plan om mijn dochter te laten knippen en online te zoeken naar afbeeldingen van 'peuterkapsels' voor inspiratie, " zegt Wortman. Maar de geretourneerde beelden waren bijna alle witte kinderen, voornamelijk met steil haar, en meer verrassend, voornamelijk jongens, merkte ze op.

Experts noemen dit fenomeen "representatieve schade": wanneer technologie stereotypen versterkt of specifieke groepen vermindert. "Het is moeilijk om de exacte impact van dit soort bias te kwantificeren of te meten, maar dat betekent niet dat het niet belangrijk is", zegt Wortman.

Bias verwijderen uit AI-algoritmen

De steeds kritischer implicaties van AI-bias hebben de aandacht getrokken van verschillende organisaties en overheidsinstanties, en er worden enkele positieve stappen genomen om de ethische en sociale kwesties rond het gebruik van AI op verschillende gebieden aan te pakken.

Microsoft, wiens producten sterk afhankelijk zijn van AI-algoritmen, is drie jaar geleden een onderzoeksproject gestart genaamd Fairness, Accountability, Transparency en Ethics in AI (FATE) dat gebruikers in staat stelt te genieten van de verbeterde inzichten en efficiëntie van AI-services zonder discriminatie en vooroordeel.

In sommige gevallen, zoals de schoonheidswedstrijd met AI-beoordeling, kan het vinden en oplossen van de bron van het bevooroordeelde gedrag van een AI-algoritme net zo eenvoudig zijn als het controleren en wijzigen van de foto's in de trainingsdataset. Maar in andere gevallen, zoals de algoritmen voor het insluiten van woorden die de onderzoekers van Boston University hebben onderzocht, is vooringenomenheid op subtielere wijze in de trainingsgegevens gegrift.

Het BU-team, dat werd vergezeld door Microsoft-onderzoeker Adam Kalai, ontwikkelde een methode om woordinsluitingen te classificeren op basis van hun geslachtscategorieën en analogieën te identificeren die mogelijk bevooroordeeld waren. Maar ze namen niet de definitieve beslissing en zouden elk van de verdachte verenigingen door 10 mensen leiden op Mechanical Turk, Amazon's online marktplaats voor gegevensgerelateerde taken, die zouden beslissen of de vereniging al dan niet zou worden verwijderd.

"We wilden niet onze eigen vooroordelen invoegen in het proces", zegt Saligrama, de BU professor en onderzoeker. "We hebben zojuist de tools verstrekt om problematische associaties te ontdekken. Mensen hebben de uiteindelijke beslissing genomen."

In een recenter artikel stelden Kalai en andere onderzoekers voor om afzonderlijke algoritmen te gebruiken om verschillende groepen mensen te classificeren in plaats van voor iedereen dezelfde maten te gebruiken. Deze methode kan effectief zijn in domeinen waar bestaande gegevens al bevooroordeeld zijn ten gunste van een specifieke groep. De algoritmen die vrouwelijke sollicitanten voor een programmeeropdracht zouden evalueren, zouden bijvoorbeeld criteria gebruiken die het meest geschikt zijn voor die groep in plaats van de bredere set gegevens te gebruiken die diep wordt beïnvloed door bestaande vooroordelen.

Wortman van Microsoft ziet inclusiviteit in de AI-industrie als een noodzakelijke stap om vooringenomenheid in algoritmen te bestrijden. "Als we willen dat onze AI-systemen nuttig zijn voor iedereen en niet alleen voor bepaalde demografische gegevens, dan moeten bedrijven verschillende teams inhuren om aan AI te werken", zegt ze.

In 2006 hielp Wortman Women in Machine Learning (WiML) op te richten, dat een jaarlijkse workshop organiseert waar vrouwen die in de AI-industrie studeren en werken, elkaar kunnen ontmoeten, netwerken, ideeën uitwisselen en paneldiscussies bijwonen met oudere vrouwen in de industrie en de academische wereld. Een vergelijkbare inspanning is de nieuwe Black in AI Workshop, opgericht door Timnit Gebru, een andere Microsoft-onderzoeker, die meer divers talent in AI wil opbouwen.

Bolukbasi van Boston University stelt ook voor de manier te veranderen waarop AI-algoritmen problemen oplossen. "Algoritmen zullen een regelset kiezen die hun doelstelling maximaliseert. Er kunnen veel manieren zijn om dezelfde set conclusies te trekken voor gegeven input-outputparen, " zegt hij. "Neem het voorbeeld van multiple-choice tests voor mensen. Men kan het juiste antwoord bereiken met een verkeerd denkproces, maar toch dezelfde score krijgen. Een hoogwaardige test moet worden ontworpen om dit effect te minimaliseren, alleen de mensen die echt het onderwerp kennen om de juiste scores te krijgen. Algoritmen bewust maken van sociale beperkingen kan worden gezien als een analogie met dit voorbeeld (hoewel niet exact), waarbij het leren van een verkeerde regelset in de doelstelling wordt bestraft. Dit is een lopend en uitdagend onderzoek onderwerp."

AI's Opacity maakt eerlijkheid ingewikkeld

Een andere uitdaging die AI-algoritmen eerlijker maakt, is het fenomeen "black box". In veel gevallen bewaken bedrijven hun algoritmen jaloers: bijvoorbeeld Northpointe Inc., de fabrikant van COMPAS, de misdaadvoorspellende software, heeft geweigerd zijn eigen algoritme bekend te maken. De enige mensen die vertrouwd zijn met de innerlijke werking van COMPAS zijn de programmeurs, niet de rechters die het gebruiken om een ​​oordeel te vellen.

Afgezien van het bedrijfsgeheim, worden AI-algoritmen soms zo ingewikkeld dat zelfs de makers en de redenen en beslissingen achter hun beslissingen ontsnappen. In het VK gebruikt de politie van Durham AI-systeem HART om te bepalen of verdachten een laag, matig of hoog risico hebben om binnen een periode van twee jaar verdere misdaden te plegen. Maar een academische beoordeling van HART uit 2017 merkte op dat "opaciteit moeilijk te vermijden lijkt." Dit komt deels door de enorme hoeveelheid en variëteit aan gegevens die het systeem gebruikt, waardoor het moeilijk is om de redenen voor zijn beslissingen te analyseren. "Deze details kunnen vrij toegankelijk worden gemaakt voor het publiek, maar vereisen een enorme hoeveelheid tijd en moeite om volledig te begrijpen, " zegt de krant.

Verschillende bedrijven en organisaties leveren inspanningen om AI transparant te maken, waaronder Google, dat GlassBox heeft gelanceerd, een initiatief om het gedrag van machine-learning-algoritmen begrijpelijker te maken zonder in te boeten aan uitvoerkwaliteit. Het Defense Advanced Research Projects Agency (DARPA), dat toezicht houdt op het gebruik van AI in het leger, financiert ook een poging om AI-algoritmen hun beslissingen te laten verklaren.

In andere gevallen is menselijk oordeel van cruciaal belang bij het omgaan met vooringenomenheid. Om te voorkomen dat bestaande raciale en sociale menselijke vooroordelen in de algoritmen van HART sluipen, voorzag de Durham Constabulary leden van zijn personeel van bewustwordingssessies rond onbewuste vooringenomenheid. De politie heeft ook stappen ondernomen om datapunten, zoals raciale kenmerken, te verwijderen, wat de grond kan vormen voor bevooroordeelde beslissingen.

Menselijke verantwoordelijkheid

Vanuit een ander perspectief kunnen AI-algoritmen een gelegenheid bieden om te reflecteren op onze eigen vooroordelen en vooroordelen. "De wereld is bevooroordeeld, de historische gegevens zijn bevooroordeeld, daarom is het niet verwonderlijk dat we bevooroordeelde resultaten ontvangen, " vertelde Sandra Wachter, een onderzoeker in data-ethiek en algoritmen aan de Universiteit van Oxford, aan The Guardian .

Wachter maakt deel uit van een onderzoeksteam van het Alan Turing Institute in Londen en de Universiteit van Oxford, die een paper publiceerde waarin werd opgeroepen tot regelgeving en instellingen om mogelijke discriminatie door AI-algoritmen te onderzoeken.

Ook sprekend tegen The Guardian , zei Joanna Bryson, een computerwetenschapper aan de Universiteit van Bath en co-auteur van een onderzoekspaper over algoritmische vooringenomenheid: "Veel mensen zeggen dat laat zien dat AI bevooroordeeld is. Nee. Dit laat zien dat we ben bevooroordeeld en dat AI het leert."

In 2016 lanceerde Microsoft Tay, een Twitter-bot die werd verondersteld te leren van mensen en slimme gesprekken te voeren. Maar binnen 24 uur na de lancering van Tay, moest Microsoft het afsluiten nadat het racistische opmerkingen begon te spuwen, die het had opgepikt uit zijn gesprekken met Twitter-gebruikers. Misschien is dit een herinnering dat het verleden tijd is dat wij mensen onze eigen rol in de verschijning en verspreiding van het fenomeen van algoritmische vooringenomenheid erkennen en collectieve stappen ondernemen om de effecten ervan ongedaan te maken.

"Dit is een zeer gecompliceerde taak, maar het is een verantwoordelijkheid die wij als samenleving niet mogen vermijden", zegt Wachter.