Ibm Watson helpt universiteitsstudenten mandarijn te leren

Universiteiten hebben een lange weg afgelegd in hun taalstudies en gaan verder dan alleen traditionele lessen in een collegezaal en vooraf opgenomen lessen zonder interactie. Studenten hebben nu toegang tot technologieën zoals kunstmatige intelligentie (AI) en natuurlijke taalverwerking (NLP) in een meeslepende leeromgeving. Dat is wat er gebeurt op het Cognitive and Immersive Systems Lab (CISL) op de Troy, New York, campus van het Rensselaer Polytechnic Institute (RPI). Het is hier dat het instituut samenwerkt met IBM Research om de technologie te ontwikkelen voor een zes weken durende zomercursus waarin de studenten communiceren met AI-agenten in omgevingen met straatmarkten en restaurants.

De cursus, getiteld "AI-Assisted Immersive Chinese", biedt een 360-graden panoramisch weergavesysteem van door de computer gegenereerde scènes in de Cognitive Immersive Room (CIR) van het lab, ook wel de "Situations Room" genoemd. De virtuele scènes spelen zich af in China. Studenten praten met avatars die worden aangestuurd door Watson Assistant en worden gecorrigeerd op hun spraak en uitspraak. In de CIR gebruiken studenten conversatie-AI, narratieve generatie, ruimtelijk contextbewustzijn en gebaar- en gezichtsherkenningstechnologie.

De CIR is een voorbeeld van de uiteenlopende mogelijkheden voor IBM Watson in verschillende industrieën naast onderwijs. Deze industrieën omvatten landbouw, human resources (HR) en vlootbeheer.

Op de RPI gebruiken studenten naast Watson Assistant, Watson Speech to Text, Watson Text to Speech en Language Translator in hun studies.

Studenten leren Mandarijn met behulp van AI op de RPI-campus. (Afbeelding credit: IBM Research / RPI)

Een actieve leerervaring

Voor Julian Wong, een junior bij de RPI, was de meeslepende AI-ervaring een aantrekkelijke manier om Mandarijn te leren omdat het hem een ​​actievere manier van leren geeft. Omdat Mandarijn een tonale taal is waarin een verandering in toonhoogte de betekenis van woorden kan veranderen, geven de avatars in de AI-ervaring feedback op toon om ervoor te zorgen dat Wong en de andere studenten de uitspraken correct krijgen.

Werken met AI in de CIR biedt een mooie balans met de reguliere klassikale tijd, volgens Wong. "Bijeenkomst om met de computer te praten… helpt zeker met veel aspecten van het leren van de taal, vooral verbale vaardigheden, " zei Wong.

Wong's Mandarijn-klas komt vier keer per week samen. Op maandag en vrijdag volgt hij een les in een traditioneel klaslokaal met Helen Zhou, universitair hoofddocent aan de RPI. Daar leert hij nieuwe woordenschat en krijgt hij een inleiding tot zinnen en grammaticale structuren. Op dinsdag en donderdag komt de klas bijeen in de CIR, waar studenten gesprekken voeren met virtuele agenten. In een restaurantomgeving zei Wong dat studenten het hele proces van zitten in het restaurant kunnen doorlopen, naar een menu kunnen kijken, eten bestellen, met een ober kunnen praten over hoe het eten wordt bereid en de rekening betalen. Andere omgevingen zijn een tuin, een markt en een schoolcampus.

De Mandarijn-klas in het meeslepende klaslokaal verschilt van een traditionele omgeving omdat het een multimodale ervaring van taal en video biedt, volgens Zhou. Ze zei dat een traditionele les minder meeslepend en interactief zou zijn. "In de simulatie in het meeslepende klaslokaal hebben we twee agenten om met elkaar te vechten, om de studenten te overtuigen om het product te kopen, " zei Zhou. "Dus studenten zouden het begrijpen door persoonlijke ervaring in plaats van naar video's te kijken of alleen naar lezingen te luisteren. Ik geloof dat ze de cultuur gemakkelijker zouden oppakken dan alleen door te leren van handboeken of naar tapes te luisteren."

In de CIR maken studenten quizzen over de scènes waarmee ze hebben samengewerkt en steken ze hun hand op om hun antwoorden te geven. Computer vision-technologie van de camera's in de kamer legt hun gebaren vast. De AI-assistent geeft een quiz over de scène en studenten moeten antwoorden met een zin in het Chinees.

"Als je een van de pop-ups op het scherm wilt selecteren, kun je je hand uitsteken, je handpalm open en dan sluit je je hand, " legde Wong uit. "U selecteert wat de cursor momenteel is. Als u voor de kleine quizzen weet wat het juiste antwoord is, kunt u uw hand verplaatsen naar de tekens die u wilt selecteren en vervolgens uw hand sluiten om ze te selecteren. Het zal je laten weten of je het goed hebt of niet."

De virtuele agent begrijpt de studenten meestal, behalve wanneer ze hun microfoon niet dicht bij hun mond hebben. Het systeem heeft verschillende instellingen voor spraakherkenning die leerlingen oppikken als ze niet goed kunnen spreken. Het geeft ook onmiddellijke feedback in een gesprek als je geen professor hebt. Op hun eigen tijd gaan de studenten in de Mandarijn-klas naar een website om spraakfragmenten te oefenen.

Een coole functie van de meeslepende ervaring op de RPI is ruimtelijk contextbewustzijn, waarin meerdere virtuele agenten op het scherm kunnen zien met wie je oogcontact maakt. "Als je iets zegt terwijl je naar de ene agent kijkt, dan zal die agent reageren en niet de andere, " zei Wong.

Een student gebruikt IBM Watson-gebaar- en gezichtsherkenningstechnologie als onderdeel van een Mandarijn-les op de RPI. (Afbeelding credit: IBM Research / RPI )

Hoe de meeslepende ervaring zich ontwikkelde

De meeslepende ervaring op de RPI kwam tot stand toen taalprofessoren en professoren van spelontwerp elkaar ontmoetten om een ​​betere manier te bespreken om taal te onderwijzen. Een plan om een ​​rollenspel te ontwikkelen raakte al snel in een discussie over hoe Mandarijn te leren door een simulatie van realistische scenario's, volgens Hui Su, die zowel directeur van Cognitive User Experience is bij IBM Research als directeur van het CISL. IBM en de RPI zijn eind 2015 begonnen met het ontwikkelen van de cursus en op dat moment hebben ze het gezamenlijke lab opgericht. Het CISL kreeg daarna snel vorm.

"Het doel van het lab is het bouwen van de cognitieve en meeslepende omgeving om groepsactiviteiten te verbeteren, om groepsintelligentie te vergroten in de context van leren en besluitvorming, " zei Su. "We richten ons ook op het bouwen van cognitieve, meeslepende boardrooms… om te kijken naar de gegevens van een kritieke situatie en proberen de informatie te begrijpen en beslissingen of aanbevelingen voor de besluitvormers te maken."

Als onderdeel van het AI-programma voor het leren van talen experimenteren IBM en de RPI met pitch contour-analyse. Su beschreef hoe deze technologie werkt. "Wanneer je een lettergreep spreekt, wanneer je een lettergreep uitspreekt, zal de onderliggende technologie de stem vastleggen, en het genereert een visuele contour van hoe je die lettergreep uitspreekt, " zei Su. "Dan gebruikt het die visuele contour en vergelijkt die visuele contour met de visuele contour van een native speaker."

Studenten kunnen vervolgens hun uitspraak aanpassen om de juiste toon te bereiken. Ze zullen leren dat ze de uitspraken van bepaalde lettergrepen moeten veranderen. Met de kennis die studenten opdoen door Mandarijn te leren in het meeslepende klaslokaal met behulp van Watson-technologie, hebben ze meer vertrouwen in het echte leven, aldus Su.

"Het hele idee is om voldoende culturele context te bieden via onze meeslepende omgeving en AI-technologie om de studenten in staat te stellen een oefening te oefenen, " zei Su. "Dus ze zullen geen angsten hebben zoals praten met mensen in het echte leven."

Een student oefent Mandarijn in een virtuele restaurantomgeving met behulp van IBM Watson-technologie. (Afbeelding credit: IBM Research / RPI )

Een brug tussen de technische industrie en de academische wereld

IBM en de RPI kunnen een brug slaan tussen IBM-onderzoekers en faculteitsleden, waarbij IBM een onderzoeker op de campus insluit, namelijk Su. Ondertussen geeft Zhou, de professor van de klas aan de RPI, ook feedback aan de ontwerpers, gebruikers en leraren over hoe de meeslepende ervaring in de klas te verbeteren.

"Ik moet ze onmiddellijk feedback geven om fouten op te lossen of het ontwerp te verbeteren, zodat we de studenten een natuurlijker klaslokaal kunnen bieden, " zei Zhou. "Dus er is veel werk mee gemoeid, maar het is het waard."

De toekomst van het leren van talen

• De beste software voor het leren van talen voor 2019 De beste software voor het leren van talen voor 2019
• IBM brengt voorgerelateerde Watson AI-tools uit in verschillende industrieën
• Spreekt AI echt onze taal? Spreekt AI echt onze taal?

Dit soort meeslepende omgeving is waardevol vanwege de mogelijkheid om een ​​schijnbaar levensechte omgeving te bieden, volgens Zhou. "De meeslepende AI-omgeving kan niet alleen het spreken en luisteren van studenten verbeteren, maar ook de pragmatiek van het gebruik van die taal in echte situaties, " zei Zhou. "Daarom is AI meer ideaal voor mij als instructeur, zodat studenten het gevoel kunnen krijgen de taal vroeg te gebruiken, zelfs voor beginnende studenten, zonder naar het land te reizen."

Multimodale leeromgevingen zoals die aangeboden op de RPI zullen de rol van AI in de klas uitbreiden. Met de ervaring die AI biedt via de virtuele agenten, zullen studenten bereid zijn om verschillende scenario's in de echte wereld aan te pakken met de nodige taalvaardigheden.