Ibm Watson študentom pomaga pri učenju mandarin

Univerze so v svojem študiju jezikov daleč prestopile več kot le tradicionalne razrede v predavalnici in predhodno posnele lekcije brez interakcije. Zdaj imajo študenti dostop do tehnologij, kot sta umetna inteligenca (AI) in obdelava naravnega jezika (NLP) v potopnem učnem okolju. To se dogaja v laboratoriju za kognitivne in potopne sisteme (CISL) v Troyu v New Yorku v kampusu Politehničnega inštituta Rensselaer (RPI). Tu se je inštitut združil z IBM Research, da bi ustvaril tehnologijo za šest tedenski poletni tečaj, na katerem študenti komunicirajo z agenti AI v okoljih, ki vključujejo ulične trge in restavracije.

Tečaj z naslovom "Kitajci s pomočjo AI s pomočjo AI" vsebuje 360-stopinjski panoramski sistem prikazovanja računalniško ustvarjenih prizorov v laboratorijski kognitivni potopni sobi (CIR), ki se imenuje tudi "soba za razmere". Navidezni prizori se odvijajo na Kitajskem. Študenti se pogovarjajo z avatarji, ki jih poganja Watson Assistant in se popravijo na govor in izgovorjavo. V CIR študentje uporabljajo pogovorno AI, generiranje pripovedi, zavedanje o prostorskem kontekstu ter tehnologijo za prepoznavanje gest in obraza.

CIR je poleg izobraževanja primer raznolikega potenciala za IBM Watson v več panogah. Te industrije vključujejo kmetijstvo, človeške vire (HR) in upravljanje flote.

Na RPI študenti poleg Watson Assistant-a v svojih študijah uporabljajo Watson Speech to Text, Watson Text to Speech in Language Translator.

Študentje se Mandarine naučijo z uporabo AI na kampusu RPI. (Kreditna slika: IBM Research / RPI)

Aktivna izkušnja učenja

Za Juliana Wonga, juniorja v RPI, je bila potopna izkušnja AI privlačna za učenje Mandarine, ker mu omogoča bolj aktivno učenje. Ker je mandarina tonski jezik, v katerem lahko sprememba tona spremeni pomen besed, avatarji v izkušnji AI zagotavljajo povratne informacije o tonu, da Wong in drugi učenci dobijo pravilnost izgovora.

Po besedah ​​Wonga delo z AI v CIR zagotavlja lepo ravnovesje z rednim časom v učilnici. "Srečanje za pogovor z računalnikom… vsekakor pomaga pri številnih vidikih učenja jezika, predvsem verbalnih veščin, " je dejal Wong.

Wong Mandarin razred se srečuje štirikrat na teden. Ob ponedeljkih in petkih obiskuje pouk v tradicionalni učilnici s Helen Zhou, izredno profesorico na RPI. Tam se nauči novega besedišča in dobi uvod v fraze in slovnične strukture. V torek in četrtek se razred sestane v CIR-u, kjer dijaki pogovarjajo z virtualnimi agenti. V restavracijskem okolju je Wong dejal, da lahko študentje skozi celoten postopek sedejo v restavraciji, si ogledajo meni, naročijo hrano, se pogovorijo s natakarjem o tem, kako je hrana pripravljena, in plačajo račun. Druga okolja vključujejo vrt, tržnico in šolski kampus.

Zhou Mandarin v potopni učilnici razlikuje od tradicionalnega okolja, saj zagotavlja multimodalno doživetje jezika in videa, pravi Zhou. Povedala je, da bi bil tradicionalni razred manj potopljiv in interaktiven. "Pri simulaciji v potopni učilnici imamo dva agenta, ki se bosta med seboj bojevala in skušala učence prepričati, da kupijo izdelek, " je dejal Zhou. "Tako bi študentje razumeli iz osebnih izkušenj, ne pa da bi gledali videoposnetke ali poslušali le predavanja. Verjamem, da bi kulturo pobrali lažje kot zgolj z učenjem iz učbenikov ali poslušanjem kaset."

V CIR-u študentje sprejmejo kvize, povezane s prizori, s katerimi so sodelovali, in dvignejo roke, da bi dali svoje odgovore. Tehnologija računalniškega vida iz kamer v sobi zajema njihove kretnje. Pomočnik AI opravi kviz, povezan s prizorom, učenci pa morajo odgovoriti z besedno zvezo v kitajščini.

"Če želite izbrati enega od pojavnih oken, ki so na zaslonu, potem lahko iztegnete roko, dlan odprete in nato zaprete roko, " je pojasnil Wong. "Izberete ne glede na to, kje je kazalec trenutno vklopljen. Za majhne kvize, če veste, kakšen je pravi odgovor, lahko z roko premaknete znake, ki jih želite izbrati, in nato zaprete roko, da jih izberete. vas bo obvestil, če ste ga pravilno razumeli ali ne."

Navidezni agent študente razume večino časa, razen kadar morda nimajo mikrofona blizu ust. Sistem ima različne nastavitve prepoznavanja glasu, ki študente poberejo, če se izgovarjajo s svojo izgovorjavo. V pogovoru ponuja tudi takojšnje povratne informacije, če nimate profesorja. Študentje v razredu Mandarina ob svojem času odidejo na spletno mesto, kjer lahko dostopajo do govornih posnetkov.

Odlična značilnost potopne izkušnje na RPI je prostorska kontekstna zavest, v kateri več virtualnih agentov na zaslonu lahko pove, s kom vzpostavljate stik z očmi. "Če med gledanjem enega agenta nekaj rečete, se bo ta agent odzval in ne drugega, " je dejal Wong.

Študent uporablja gesto IBM Watson in tehnologijo za prepoznavanje obraza kot del mandarinskega razreda pri RPI. (Kreditna slika: IBM Research / RPI )

Kako se je razvijala potopna izkušnja

Potopna izkušnja RPI je nastala, ko so se srečevali profesorji jezika in profesorji oblikovanja iger, da bi razpravljali o boljšem načinu poučevanja jezika. Načrt za razvoj igranja vlog se je kmalu spremenil v razpravo o tem, kako Mandarino poučiti s simulacijo scenarijev iz resničnega življenja, pravi Hui Su, ki je hkrati direktor kognitivnih uporabniških izkušenj pri IBM Research in direktor CISL. IBM in RPI sta tečaj začela razvijati konec leta 2015 in takrat sta ustanovila skupen laboratorij. CISL se je nato oblikoval kmalu zatem.

"Namen laboratorija je zgraditi kognitivno in potopno okolje za izboljšanje skupinskih dejavnosti, povečati skupinsko inteligenco v okviru učenja in odločanja, " je dejal Su. "Osredotočamo se tudi na gradnjo kognitivnih potopnih dvoran…, da pogledamo podatke kritične situacije in poskušamo smiselno razbrati informacije ter ustvariti odločitve ali priporočila za odločevalce."

Kot del programa učenja jezikov AI IBM in RPI eksperimentirata z analizo konturnega tona. Su je opisal, kako deluje ta tehnologija. "Ko govorite zlog, ko izgovorite zlog, bo osnovni tehnik zajel glas in ustvaril vizualno konturo, kako izgovorite ta zlog, " je dejal Su. "Nato uporabi to vizualno konturo in to vizualno konturo primerja z vidno konturo izvornega govorca."

Študenti lahko nato prilagodijo svoje izgovorjave, da dosežejo pravilen ton. Spoznali bodo, da morajo spremeniti izgovor določenih zlog. Ko bodo študenti pridobili znanje z učenjem Mandarine v potopni učilnici s tehnologijo Watson, bodo lahko v resničnem življenju več samozavestno pogovarjali, pravi Su.

"Celotna ideja je, da s svojim potopnim okoljem in AI tehnologijo zagotovimo dovolj kulturnega konteksta, da študentom omogočimo vajo, " je dejal Su. "Tako ne bodo imeli strahov, kot bi govorili z ljudmi v resničnem življenju."

Študent vadi Mandarino v virtualnem okolju restavracije z uporabo tehnologije IBM Watson. (Kreditna slika: IBM Research / RPI )

Most med tehnično industrijo in akademsko skupino

IBM in RPI lahko zgradita most med IBM-ovimi raziskovalci in člani fakultete, pri čemer je IBM v kampusu vključil raziskovalca, in sicer Su. Medtem pa Zhou, profesor razreda na RPI, tudi oblikovalcem, uporabnikom in učiteljem posreduje povratne informacije o tem, kako izboljšati izkušnjo v učilnici.

"Takoj jim moram posredovati povratne informacije, da odpravijo napako ali izboljšajo zasnovo, da bomo lahko študentom ponudili bolj naravno učilnico, " je dejal Zhou. "Torej je veliko dela, vendar se splača."

Prihodnost učenja jezikov

• Najboljša programska oprema za učenje jezikov za leto 2019 Najboljša programska oprema za učenje jezikov za leto 2019
• IBM izdal preiskane Watson AI orodja v več panogah IBM objavil preiskane Watson AI orodja v več panogah
• Ali AI resnično govori naš jezik? Ali AI resnično govori naš jezik?

Ta vrsta potopnega okolja je dragocena zaradi sposobnosti zagotavljanja na videz resničnega okolja, pravi Zhou. "Potopno okolje AI ne more samo izboljšati govora in poslušanja učencev, temveč tudi pragmatiko uporabe tega jezika v resničnih situacijah, " je dejal Zhou. "Zato je AI zame kot inštruktor bolj idealen, tako da lahko študentje že zgodaj dobijo občutek za uporabo jezika, tudi za začetnike, ne da bi potovali v državo."

Multimodalna učna okolja, kakršna so ponujena v RPI, bodo razširila vlogo AI v učilnici. Z izkušnjami, ki jih AI zagotavlja prek virtualnih agentov, bodo študenti pripravljeni na reševanje različnih scenarijev v resničnem svetu s potrebnimi jezikovnimi znanji.