Video: Yann LeCun: "Energy-Based Self-Supervised Learning" (November 2024)
Tijdens een workshop over AI en de toekomst van werk eerder deze maand, sprak Yann LeCun, directeur van AI Research bij Facebook en oprichter van het NYU Center for Data Science, over 'kracht en de grenzen van diep leren'. LeCun, pionier in de convolutionele neurale netwerken die de kern vormen van veel van de recente ontwikkelingen in AI, was zowel enthousiast over de vooruitgang die het veld de afgelopen jaren heeft geboekt als realistisch over wat dergelijke systemen wel en niet kunnen doen.
Er zijn meerdere AI-golven geweest, zei LeCun, en merkte op dat hoewel de huidige golf zich heeft gericht op diep leren, "perceptie" is, met de grootste voorbeelden toepassingen zoals medische beeldvorming en zelfrijdende auto's. Bijna al deze toepassingen maken gebruik van begeleid leren en de meeste gebruiken convolutionele neurale netwerken, die LeCun voor het eerst beschreef in 1989 en die voor het eerst werden geïmplementeerd in karakterherkenning in geldautomaten in 1995. LeCun zei dat het patent op dergelijke netwerken in 2007 is verlopen.
Het zijn de grote datasets met grote steekproefgroottes en de enorme toename van het rekenvermogen (geholpen door Geoffrey Hinton's werk bij het uitzoeken hoe GPU's te gebruiken voor beeldherkenning) die de afgelopen jaren de meeste verandering hebben opgeleverd. Zelfs voor LeCun zijn de vorderingen in beeldherkenning "niets minder dan verbazingwekkend" geweest. Hoewel perceptie "echt werkt", is wat nog ontbreekt, redeneren.
LeCun sprak over drie verschillende soorten benaderingen, en de beperkingen van elk van hen. Versterking leren vereist een groot aantal voorbeelden. Het is geweldig voor games, omdat het systeem miljoenen proeven kan uitvoeren en beter en beter kan worden, maar het is moeilijk te gebruiken in de echte wereld, omdat je bijvoorbeeld niet 50 miljoen keer een auto van een klif wilt rijden, en real time is een factor in de echte wereld.
Begeleid leren, wat het meeste is van wat we nu zien, vereist een gemiddelde hoeveelheid feedback en werkt goed. Er is echter een aantal problemen met begeleide machine learning. LeCun zei dat dergelijke systemen vooringenomenheid in gegevens weerspiegelen, hoewel hij zei dat hij optimistisch is dat dit probleem kan worden opgelost en gelooft dat het gemakkelijker is om vooroordelen uit machines te verwijderen in vergelijking met mensen. Maar het is ook moeilijk om dergelijke systemen te controleren op betrouwbaarheid en moeilijk uit te leggen beslissingen op basis van output van dergelijke systemen, en LeCun sprak over leningaanvragen als een voorbeeld hiervan.
Ongecontroleerd of voorspellend leren, dat momenteel wordt onderzocht voor dingen zoals het voorspellen van toekomstige frames in een video, vereist veel feedback. Leren zonder toezicht houdt in dat het verleden, het heden of de toekomst wordt voorspeld op basis van welke informatie beschikbaar is, of met andere woorden, het vermogen om de lege plekken in te vullen, waarvan LeCun zei dat het effectief is wat we gezond verstand noemen. Hij merkte op dat baby's dit kunnen doen, maar dat het erg moeilijk is om machines ertoe te brengen, en vertelde hoe onderzoekers werken aan technieken zoals generatieve adversariële netwerken (GAN's) voor voorspellingen gedaan in onzekere omstandigheden. We hebben nog lang geen complete oplossing, zei hij.
LeCun sprak over de drie soorten leren als zijnde onderdelen van een taart: leren met versterking is de kers op de taart, supervised leren van de kers, en voorspellend leren is het belangrijkste deel van de taart.
LeCun voorspelde dat AI zal veranderen hoe dingen worden gewaardeerd, met goederen die zijn gebouwd door robots die minder kosten en authentieke menselijke ervaringen die meer kosten, en zei dat dit kan betekenen dat er "een mooie toekomst is voor jazzmusici en ambachtslieden."
Over het algemeen zei LeCun dat AI een General Purpose Technology (GPT) is, zoals de stoommachine, elektriciteit of de computer. Als zodanig zal het van invloed zijn op veel gebieden van de economie, maar het zal 10 of 20 jaar duren voordat we een effect op de productiviteit zien. LeCun zei dat AI zal leiden tot taakvervanging, maar merkte op dat de inzet van technologie wordt beperkt door hoe snel werknemers er voor kunnen trainen.
Wat een "echte AI-revolutie" betreft, zei LeCun dat dit niet zal gebeuren totdat machines hun gezond verstand verwerven, en het bepalen van de principes om dit te bouwen kan twee, vijf, twintig of meer jaar duren; verder zal het dan jaren duren om praktische AI-technologie op basis van die principes te ontwikkelen. Tenslotte merkte hij op dat het twintig jaar duurde voordat convolutionele netten belangrijk werden. En dat is allemaal gebaseerd op de veronderstelling dat de principes eenvoudig zijn; het wordt veel gecompliceerder als "intelligentie een kludge is."
