Umetna inteligenca ima težave s pristranskostjo in mi smo krivi

Leta 2016 so raziskovalci z univerze v Bostonu in Microsofta delali algoritme umetne inteligence, ko so odkrili rasistične in seksistične težnje v tehnologiji, na katerih temeljijo nekatere najbolj priljubljene in kritične storitve, ki jih uporabljamo vsak dan. Razodetje je nasprotovalo običajni modrosti, da umetna inteligenca ne trpi zaradi predsodkov glede spola, rasne in kulturne narave, ki jih počnemo mi ljudje.

Raziskovalci so to odkritje opravili med preučevanjem algoritmov za vdelavo besed, vrste AI, ki z analizo velikih besedil najdejo povezave in povezave med različnimi besedami. Na primer, usposobljeni algoritem za vstavljanje besed lahko razume, da so besede za rože tesno povezane s prijetnimi občutki. Na bolj praktični ravni vgrajevanje besed razume, da je izraz "računalniško programiranje" tesno povezan s "C ++", "JavaScript" in "objektno usmerjenimi analizami in oblikovanjem." Ko je integrirana v aplikacijo za pregledovanje življenjepisa, ta funkcionalnost omogoča delodajalcem, da z manj truda najdejo kvalificirane kandidate. V spletnih iskalnikih lahko zagotovi boljše rezultate, če prikaže vsebino, ki je pomensko povezana z iskalnim izrazom.

Raziskovalci BU in Microsofta so ugotovili, da imajo algoritmi za vdelavo besed problematične pristranskosti - na primer povezavo "računalniškega programerja" z moškimi zaimki in "domačega" z ženskim. Njihove ugotovitve, ki so jih objavili v raziskovalnem prispevku, z naslovom "Moški je računalniški programer kot ženska domačinki?" je bilo eno od številnih poročil, ki razkriva mit o nevtralnosti AI in osvetljuje algoritmično pristranskost, pojav, ki dosega kritične razsežnosti, ko algoritmi postajajo vse bolj vključeni v naše vsakdanje odločitve.

Izvori algoritmičnih pristranskosti

Algoritmi strojnega učenja in globokega učenja so osnova sodobne programske opreme, ki jo poganja AI. V nasprotju s tradicionalno programsko opremo, ki deluje na podlagi vnaprej določenih in preverljivih pravil, globoko učenje ustvarja svoja pravila in se uči z zgledom.

Na primer, da ustvarijo aplikacijo za prepoznavanje slike, ki temelji na poglobljenem učenju, programerji algoritem "usposobijo" tako, da jih hranijo z označenimi podatki: v tem primeru so fotografije označene z imenom predmeta, ki ga vsebujejo. Ko algoritem zaužije dovolj primerov, lahko pridobi podobne vzorce med podobno označenimi podatki in jih uporabi za razvrščanje neoznačenih vzorcev.

Ta mehanizem omogoča globoko učenje za izvajanje številnih nalog, ki jih s programsko opremo, ki temelji na pravilih, praktično ni mogoče. Vendar pa to pomeni, da programska oprema za globoko učenje lahko podeduje prikrite ali očitne pristranskosti.

"AI algoritmi niso samo po sebi pristranski, " pravi profesor Venkatesh Saligrama, ki predava na oddelku za elektrotehniko in računalniško univerzo v Bostonu in je delal na algoritmih za vdelavo besed. "Imajo determinirano funkcionalnost in izbrali bodo kakršne koli težnje v podatkih, na katerih trenirajo."

Algoritmi za vdelavo besed, ki so jih preizkusili raziskovalci univerze v Bostonu, so bili usposobljeni za več sto tisoč člankov iz Google News, Wikipedije in drugih spletnih virov, v katerih so globoko vpete družbene pristranskosti. Kot primer, ker bro kultura prevladuje v tehnološki industriji, moška imena pogosteje predstavljajo delovna mesta, povezana s tehnologijo, in to vodi algoritme za povezovanje moških s posli, kot sta programiranje in programsko inženirstvo.

"Algoritmi nimajo moči človeškega uma, da loči pravico od napačne, " dodaja Tolga Bolukbasi, študentka doktorskega študija na BU. Ljudje lahko presojajo moralnost naših dejanj, tudi ko se odločimo ravnati v skladu z etičnimi normami. Toda za algoritme so podatki najpomembnejši dejavnik.

Saligrama in Bolukbasi nista bila prva, ki sta opozorila na to pristranskost. Raziskovalci iz IBM-a, Microsofta in univerze v Torontu so v prispevku, objavljenem leta 2011, poudarili potrebo po preprečevanju algoritmične diskriminacije. Takrat je bila algoritmična pristranskost ezoterična težava in globoko učenje še vedno ni našlo poti v tok. Danes pa algoritmična pristranskost že pušča pečat pri mnogih stvareh, na primer pri branju novic, iskanju prijateljev, nakupovanju po spletu in gledanju videov na Netflixu in YouTubu.

Vpliv algoritmične pristranskosti

Leta 2015 se je moral Google opravičiti, potem ko so algoritmi, ki napajajo svojo aplikacijo Photos, dve temnopolti osebi označili za gorile - morda zato, ker v svojem podatkovnem naboru usposabljanja ni bilo dovolj slik temnopoltih. V letu 2016 je bilo od 44 zmagovalcev lepotnega tekmovanja, ki ga je sodil AI, skoraj vsi belci, nekaj Azijcev in le ena je imela temno kožo. Ponovno je bil razlog v tem, da je bil algoritem večinoma treniran s fotografijami belcev.

Google Photos, vsi ste zajebani. Moj prijatelj ni gorila. pic.twitter.com/SMkMCsNVX4

- jackyalciné se tukaj ne odziva veliko. DM (@jackyalcine) 29. junij 2015

Pred kratkim je test IBM-ovih in Microsoftovih služb za analizo obrazov ugotovil, da so algoritmi podjetij skoraj brezhibni pri odkrivanju spola moških s svetlo kožo, vendar so bili pogosto zmotni, ko so jih predstavili s slikami žensk s temno kožo.

Čeprav so ti incidenti verjetno povzročili zanemarljivo škodo, pa istega ne moremo trditi za algoritme AI na bolj kritičnih področjih, kot so zdravstvena oskrba, kazensko pregon in zaposlovanje. Leta 2016 je preiskava podjetja ProPublica ugotovila, da je programska oprema, ki jo poganja COMPAS, ki ocenjuje tveganje ponovitve kaznivih dejanj pri storilcih kaznivih dejanj, pristranska do barvnih ljudi. Odkritje je bilo še posebej zaskrbljujoče, ker sodniki v nekaterih državah uporabljajo COMPAS, da določijo, kdo hodi brezplačno in kdo ostane v zaporu.

V drugem primeru je raziskava Googlove oglaševalske platforme, ki jo poganjajo algoritmi globokega učenja, ugotovila, da so moški pogosteje prikazovali oglase za visoko plačana delovna mesta kot ženske. Ločena študija je našla podobno težavo z oglasi za delo LinkedIn. Še en drugi pa je pokazal, da je za 50 odstotkov večja verjetnost, da bodo algoritmi najemanja poslali povabilo na razgovor osebi, katere ime je evropsko-ameriško, kot nekomu z afroameriškim imenom.

Področja, kot so odobritev posojila, bonitetna ocena in štipendija, se soočajo s podobnimi grožnjami.

Algoritmična pristranskost je še dodatno zaskrbljujoča zaradi tega, kako bi lahko povečala družbene pristranskosti. Pod iluzijo, da je AI hladen, matematični izračun brez predsodkov ali pristranskosti, lahko ljudje nagibajo k zaupanju v algoritmično presojo, ne da bi ga spraševali.

V intervjuju z Wired UK je predavatelj kriminologije univerze Edinburgh Napier Andrew Wooff opazil, da lahko "policijski svet, ki je zelo pritisk na čas, pritisk na policijo" povzroči, da se policisti preveč zanašajo na algoritmične odločitve. "Lahko si predstavljam situacijo, ko se policist morda bolj zanaša na sistem kot na lastne postopke odločanja, " je dejal. "To bi lahko bilo delno, da lahko utemeljite odločitev, ko gre kaj narobe."

Zanašanje na pristranske algoritme ustvarja povratno zanko: sprejemamo odločitve, ki ustvarjajo bolj pristranske podatke, ki jih bodo algoritmi v prihodnosti analizirali in usposobili.

Tovrstne stvari se že dogajajo v omrežjih družbenih medijev, kot sta Facebook in Twitter. Algoritmi, ki vodijo vire novic, ustvarijo "filtrirne mehurčke", ki prikazujejo vsebino, ki ustreza željam uporabnikov in pristranskosti. Zaradi tega so lahko manj strpni do nasprotujočih si stališč in lahko še bolj polarizirajo družbo z zagonom klina skozi politični in družbeni razkorak.

"Algoritmična pristranskost bi lahko vplivala na katero koli skupino, " pravi Jenn Wortman Vaughan, višja raziskovalka pri Microsoftu. "Skupine, ki so v podatkih premalo predstavljene, so lahko še posebej ogrožene."

Na področjih, ki so že znana po pristranskosti, na primer endemična diskriminacija žensk tehnološke industrije, bi lahko algoritmi AI poudarili te pristranskosti in povzročili nadaljnjo marginalizacijo skupin, ki niso dobro zastopane.

Zdravje je še eno kritično področje, poudarja Wortman. "Lahko bi povzročilo resne težave, če se algoritem strojnega učenja, ki se uporablja za medicinsko diagnozo, usposobi na podatkih ene populacije in posledično ne uspeva dobro pri drugih, " pravi.

Predsodki so lahko škodljivi tudi na bolj subtilne načine. "Lani sem hčer nameraval vzeti za frizuro in po spletu iskal slike 'malčkov odbitkov', " pravi Wortman. Toda vrnjene podobe so bile skoraj vsi beli otroci, predvsem z ravnimi lasmi, in bolj presenetljivo, predvsem fantje, je opazila.

Strokovnjaki temu pojavu pravijo "reprezentativna škoda": ko tehnologija krepi stereotipe ali zmanjšuje določene skupine. "Težko je količinsko določiti ali izmeriti natančen vpliv tovrstne pristranskosti, vendar to še ne pomeni, da ni pomembno, " pravi Wortman.

Odstranjevanje pristranskosti iz algoritmov AI

Vse bolj kritične posledice pristranskosti AI so opozorile več organizacij in vladnih organov, zato so sprejeti nekateri pozitivni koraki za reševanje etičnih in družbenih vprašanj, povezanih z uporabo AI na različnih področjih.

Microsoft, čigar izdelki se v veliki meri opirajo na algoritme AI, je pred tremi leti začel raziskovalni projekt, imenovan poštenost, odgovornost, preglednost in etika v AI (FATE), namenjen omogočanju uporabnikom, da uživajo izboljšane vpoglede in učinkovitost storitev, ki jih poganja AI, brez diskriminacije in pristranskost

V nekaterih primerih, kot na primer o lepotnem tekmovanju, prilagojenem AI, je iskanje in odpravljanje vira pristranskega vedenja algoritma AI lahko tako enostavno kot preverjanje in spreminjanje fotografij v zbirki podatkov o vadbi. Toda v drugih primerih, na primer algoritmi za vdelavo besed, ki so jih preučevali raziskovalci z univerze v Bostonu, je pristranskost vključena v podatke o usposabljanju na bolj subtilne načine.

Ekipa BU, ki se ji je pridružil Microsoftov raziskovalec Adam Kalai, je razvila metodo za razvrščanje besednih vstavkov na podlagi njihovih spolnih kategorizacij in prepoznavanje analogij, ki so potencialno pristranske. Vendar se niso dokončno odločili in bodo vsako od osumljenih združenj vodili po 10 ljudi na spletni strani Amazon, spletno tržnico za podatke, povezane s podatki, ki bodo odločile, ali naj se zveza odstrani ali ne.

"Nismo želeli v postopek vnašati lastnih pristranskosti, " pravi Saligrama, profesor in raziskovalec na univerzi. "Pravkar smo zagotovili orodja za odkrivanje problematičnih zvez. Ljudje so se končno odločili."

V novejšem prispevku so Kalai in drugi raziskovalci predlagali uporabo ločenih algoritmov za razvrščanje različnih skupin ljudi, namesto da bi uporabljali iste ukrepe za vse. Ta metoda se lahko izkaže za učinkovite na področjih, kjer so obstoječi podatki že pristranski v korist določene skupine. Na primer, algoritmi, ki bi ocenjevali kandidatke za programsko opravilo, bi uporabila merila, ki so najbolj primerna za to skupino, namesto da bi uporabila širši nabor podatkov, na katerega močno vplivajo obstoječe pristranskosti.

Microsoftov Wortman vidi vključenost v AI industrijo kot nujen korak v boju proti pristranskosti algoritmov. "Če želimo, da so naši AI sistemi koristni za vse in ne le za določeno demografijo, potem morajo podjetja za delo na AI najeti različne ekipe, " pravi.

Leta 2006 je Wortman pomagal pri iskanju Žensk v strojnem učenju (WiML), ki letno izvaja delavnico, na kateri se lahko ženske, ki se izobražujejo in delajo v industriji AI, srečujejo, povezujejo, izmenjujejo ideje in se udeležujejo panelnih pogovorov s starejšimi ženskami v industriji in akademiji. Podobna prizadevanja je nova delavnica Black in AI, ki jo je ustanovil Timnit Gebru, še en Microsoftov raziskovalec, katere cilj je ustvariti bolj raznolik talent v AI.

Bolukbasi z univerze v Bostonu predlaga tudi spremembo načina, kako algoritmi AI rešujejo težave. "Algoritmi bodo izbrali nabor pravil, ki maksimizirajo njihov cilj. Mogoče je veliko načinov, da dosežemo isti sklop sklepov za dane vhodne izhodne pare, " pravi. "Vzemimo primer preizkusov z večkratno izbiro za ljudi. Lahko pridete do pravega odgovora z napačnim razmišljanjem, vendar kljub temu dobite enak rezultat. Zasnovan mora biti kvaliteten test, da se ta učinek čim bolj zmanjša, samo ljudem, ki resnično omogočajo poznajte zadevo, da dobite pravilne ocene. Zavedanje algoritmov, ki se zavedajo družbenih omejitev, je lahko analog kot temu primeru (čeprav ni natančen), kjer je učenje napačnega niza pravil kaznovano v cilju. To je stalna in zahtevna raziskava tema."

Neprozornost AI zaplete poštenost

Naslednji izziv, kako preprečiti boljše delovanje algoritmov AI, je pojav "črne škatle". V mnogih primerih podjetja ljubosumno varujejo svoje algoritme: Northpointe Inc., proizvajalec COMPAS, programske opreme za napovedovanje kriminala, na primer ni hotel razkriti svojega lastniškega algoritma. Edini ljudje, ki se zavzemajo za delo podjetja COMPAS, so njegovi programerji in ne sodniki, ki ga uporabljajo za odločanje.

Razen korporativne skrivnosti algoritmi AI včasih postanejo tako zmedeni, da razlogi in mehanizmi za njihove odločitve izmikajo celo njihovim ustvarjalcem. V Veliki Britaniji policija v Durhamu uporablja sistem AI HART, da ugotovi, ali imajo osumljenci nizko, zmerno ali visoko tveganje, da bodo v dveh letih storili nadaljnja kazniva dejanja. Toda akademski pregled družbe HART iz leta 2017 je ugotovil, da se "neprozornosti zdi težko izogniti." Deloma je to posledica velike količine in raznolikosti podatkov, ki jih sistem uporablja, zaradi česar je težko analizirati razloge za svoje odločitve. "Te podrobnosti bi lahko bile dostopne javnosti, vendar bi za njihovo razumevanje potrebovali ogromno časa in truda, " je zapisano v prispevku.

Več podjetij in organizacij si prizadeva za preglednost AI, vključno z Googlom, ki je predstavil GlassBox, pobudo, da bi vedenje algoritmov strojnega učenja bolj razumljivo, ne da bi pri tem žrtvovali kakovost proizvodnje. Agencija za napredne obrambne raziskovalne projekte (DARPA), ki nadzira uporabo AI v vojski, prav tako financira prizadevanja, da bi algoritmom AI omogočila razlago svojih odločitev.

V drugih primerih bo človekova presoja ključna pri obravnavanju pristranskosti. Da bi preprečili, da bi obstoječe rasne in družbene pristranskosti vdirale v HART-ove algoritme, je Durham Constabulary članom svojega osebja omogočil ozaveščanje o nezavednih pristranskostih. Policisti so sprejeli tudi ukrepe za odstranitev podatkovnih točk, kot so rasne lastnosti, kar bi lahko ustvarilo podlago za pristranske odločitve.

Človeška odgovornost

Z druge perspektive lahko algoritmi AI predstavljajo priložnost za razmislek o lastnih pristranskostih in predsodkih. "Svet je pristranski, zgodovinski podatki so pristranski, zato ni presenetljivo, da smo dobili pristranske rezultate, " je za The Guardian povedala Sandra Wachter, raziskovalka na področju podatkovne etike in algoritmov na Univerzi v Oxfordu.

Wachter je del raziskovalne skupine z Inštituta Alan Turing iz Londona in Univerze v Oxfordu, ki je objavila dokument, v katerem poziva k predpisom in institucijam, da raziščejo morebitno diskriminacijo po algoritmih AI.

Joanna Bryson, računalničarka na Univerzi v Bathu in soavtorica raziskovalnega prispevka o algoritmični pristranskosti, je tudi govorila za The Guardian : "Veliko ljudi pravi, da kaže, da je AI predsodkov. Ne. To kaže, da predsodki in AI se tega nauči."

Microsoft je leta 2016 predstavil Tay-a, Twitter bota, ki naj bi se učil od ljudi in sodeloval v pametnih pogovorih. Toda v 24 urah po Tayevem lansiranju ga je moral Microsoft ugasniti, potem ko je začel iskati rasistične komentarje, ki jih je pobral iz svojih pogovorov s uporabniki Twitterja. Morda je to opomin, da je pretekli čas, da ljudje priznamo svojo vlogo pri pojavljanju in širjenju pojava algoritmične pristranskosti in naredimo kolektivne ukrepe za razveljavitev njegovih učinkov.

"To je zelo zapletena naloga, vendar je odgovornost, ki se je kot družba ne bi smeli izogibati, " pravi Wachter.