Umjetna inteligencija ne mora da vas mrzi da bi vas diskriminirala; treba joj samo pogrešan podatak. Širom Evrope i Sjeverne Amerike, AI tehnologije sada oblikuju način na koji se ljudi vide, sortira i sumnjiče.
Sistemi za prepoznavanje lica, međutim, često pogrešno čitaju tamnije tenove kože i hidžabe. Softver za kontrolu granica, u međuvremenu, označava muslimanska imena kao rizike, a online moderacija tiho uklanja objave o Palestini dok dozvoljava da se mržnja prema muslimanima slobodno širi.
AI se prodaje kao neutralan, objektivan i efikasan – konačno tehničko rješenje za ljudske greške. Ali tehnologija uči iz svijeta oko sebe. Ako je taj svijet nejednak, pristrasan i isključujući, onda će algoritam izgrađen na njemu biti takav i.
Umjetna inteligencija odražava pretpostavke usađene u njene podatke za treniranje, a te pretpostavke odražavaju društva koja je stvaraju. Na ovaj način, sistemi koji tvrde da uklanjaju pristrasnost završe pojačavajući je umjesto toga, piše TNA.
“Ovi sistemi nisu postali pristrani slučajno”, objasnila je Mutale Nkonde, izvršna direktorka AI for the People, za The New Arab. Oni su trenirani na podacima oblikovanim desetljećima političkih odluka i doktrina bezbjednosti koje su muslimanski identitet prikazivale kao inherentno sumnjiv.
“Tehnologija je samo skalirala tu predrasudu”, kaže ona, čineći je bržom, teže otkrivenom i teže osporavanom. Svijest i otpor, međutim, rastu među pravnim naučnicima i aktivistima za digitalna prava kako bi se izazvala neprozirnost algoritamskih sistema.
Pristrani podaci, pristrani sistemi
Tehnologije za prepoznavanje lica sistematski podliježu tamnije kože i vjerske manjine.
Na primjer, ključna studija pokazala je da komercijalni sistemi za prepoznavanje lica imaju stope grešaka do 34,7% za tamnopoludnice, u poređenju sa 0,8% za svijetlopute muškarce.
Još jedan izvještaj Nacionalnog instituta za standarde i tehnologiju (NIST) utvrdio je da su takvi sistemi 10 do 100 puta vjerovatnije pogrešno identifikovali crnačke i azijske lice nego bijele.
Ako podaci za treniranje kodiraju podliježanje određenim populacijama, tada njihova primjena u policiji, nadzoru ili provjeri produžava nepravdu, samo sada u algoritamskom obliku.
Policija, granice i muslimanski pogled
U Ujedinjenom Kraljevstvu, projekti prediktivne policije poput Nacionalnog rješenja za analitiku podataka izgrađeni su na historijskim podacima o hapšenjima, koji su već iskrivljeni desetljećima rasnog profilisanja.
Ovi algoritmi zatim usmjeravaju policijske resurse nazad prema istim zajednicama koje su dugo bile pod pretjeranim nadzorom, odjevajući predrasudu u jezik “efikasnosti vođene podacima”.
U Francuskoj, pomak je jednako alarmantan. Sistemi prvobitno dizajnirani za otkrivanje “radikalizacije” na internetu tiho su evoluirali u alate za nadzor vjerskog izražavanja samo po sebi. Web-sajtovi džamija, aplikacije za molitve i stranice na društvenim mrežama bazirane na vjeri skeniraju se algoritmima koji ne mogu da razlikuju vjeru od ekstremizma.
Ova digitalna sumnja odjekuje širem političkom klimom, koja tretira vidljivu vjeru kao potencijalnu prijetnju. Nkonde upozorava da je ova logika samopodržavajuća: “Kada dizajniramo tehnologije da otkrivaju prijetnje, često završimo podučavajući ih koga da sumnjiče.”
Nikada ovo nije jasnije nego u Sjedinjenim Američkim Državama, gdje su prioritete nacionalne bezbjednosti nakon 2017. postavili temelje za algoritamsku pristrasnost u velikoj skali. Tokom prvog Trampovog mandata, Izvršne naredbe 13.769 i 13.780 ograničile su imigraciju iz sedam zemalja sa muslimanskom većinom.
Ove odluke su opravdavane kao mjere protiv terorizma, ali njihov uticaj se protezao duboko u arhitekturu američke kontrole granica.
Prema Nkonde, ovaj period “postavio je jedan od parametara za razvoj AI sistema korištenih na američkim granicama”. Skeneri za prepoznavanje lica i biometrijske provjere postale su rutinske za one koji ulaze iz muslimanskog svijeta. Kada su ovi skeneri izvršeni, podaci o rasi, etničkoj pripadnosti, zemlji porijekla i “razlogu za dodatnu provjeru” pohranjeni su u metapodacima sistema.
S vremenom, algoritam je naučio da povezuje ove atribute sa “rizikom”. Nkonde ovo opisuje kao tiho pojačavanje pristrasnosti. “Ti podaci zatim ulaze u memoriju modela, povećavajući vjerovatnoću da će muslimanski putnici biti povezani sa riječju ‘terorizam’ unutar skupa podataka.”
Rezultat je petlja povratne informacije u kojoj sumnja generiše više podataka, a više podataka generiše više sumnje. Nevini putnici se označavaju, ispituju ili odlažu ne zbog onoga što su uradili, već zbog onoga što je mašina naučila da očekuje.
“To je jasan primjer islamofobne pristrasnosti kodirane u tehnologiju”, kaže ona, “gdje politički strah postaje podatak, a podatak postaje sudbina.”
Generativna AI i ‘orijentalistički’ podaci za treniranje
Sledeći val zabrinutosti leži u generativnoj AI i jezičkim/vizuelnim modelima koji crpe iz masivnih skupova podataka, prema Soni Fereidooni, doktorandi na Sveučilištu u Kembridžu koja istražuje ulogu velikih tehnoloških kompanija u nadzoru i odbrani.
“Generativni AI modeli koje vidimo intenzivno komercijalizovani danas imaju duboko ukorijenjenu anti-muslimansku pristrasnost koja traje od njihovog začeća zbog orijentalističkih podataka za treniranje koji su korišteni za njihovo osnivanje”, rekla je ona za TNA.
Postoji akademska literatura, kaže ona, koja pokazuje da su jezički modeli, čak od ere GPT-2 i GPT-3 u 2021. godini, i prije izlaska ChatGPT-a, imali tešku anti-muslimansku pristrasnost koja traje i ima downstream efekte na stvaranje AI modela danas.
“Još uočljivije, generativni AI modeli, uključujući vizuelne modele, ne samo da pojačavaju islamofobne ideale, već i pojačavaju socijalne pristrasnosti i stigme, uključujući zapadno-centrične orijentalističke slike pronađene u njihovim podacima za treniranje, što stvara beskrajnu petlju povratne informacije rastuće islamofobije kroz automatizaciju širenja pojačane anti-muslimanske retorike”, dodaje Fereidooni.
Zaista, velika recenzirana studija pod naslovom “Trajna anti-muslimanska pristrasnost u velikim jezičkim modelima” utvrdila je da je u slučaju GPT-3, riječ “musliman” analogizirana sa “teroristom” u 23% test slučajeva, u poređenju sa mnogo nižim stopama za druge religije. Praćenje rada pokazalo je da čak i nakon pokušaja “depristrasnosti”, pristrasnost traje u novijim modelima.
Još jedna nedavna studija utvrdila je da određene tehnike ublažavanja pristrasnosti (prompt-engineering, kulturno nagovijestavanje) mogu smanjiti prevalenciju arapske/muslimanske pristrasnosti do 87,7%, ali rezultati su se široko razlikovali i mnoge više-redne asocijacije su ostale.
Online moderacija, ućutkivanje i pojačavanje
Online platforme tvrde da ublažavaju govor mržnje, ali istraživanja sugerišu drugačiji obrazac kada je riječ o anti-muslimanskom sadržaju. Na primjer, neovisna organizacija Center for Countering Digital Hate (CCDH) izvijestila je 2023. da su kompanije za društvene mreže propustile da djeluju na 89% prijavljene anti-muslimanske (islamofobne) mržnje.
Slično, izvještaj Amnesty Internationala iz 2022. otkrio je sistemske probleme u moderaciji sadržaja koji disproporcionalno pogađaju muslimanske žene.
Poruka je jasna: dok se platforme oglašavaju kao neutralni arbitri slobodnog izražavanja, njihovi sistemi moderacije često dozvoljavaju da se islamofobski sadržaj neprobijeno širi i algoritamski.
Kulturne i institucionalne dimenzije
Što čini algoritamski nadzor i pristrasnost tako podmuklom je njihova neprozirnost. Predrasuda policajca se može osporiti; algoritamska ne može. Kada mašina označi nekoga “visokim rizikom”, rijetko postoji objašnjenje i rijetko apelacija.
Za muslimane koji putuju, rade ili izražavaju vjeru na internetu, ovo stvara osjećaj trajnog nadzora. Prepoznavanje lica na aerodromima može pokrenuti dodatno ispitivanje; softver za provjeru zaposlenja može tiho rangirati kandidate niže zbog imena koje smatra “stranim”; moderacija na društvenim mrežama može suzbiti diskusije o Gazi ili islamofobiji.
Svaki slučaj može izgledati manji, ali kolektivno se sabiraju u digitalni režim drugorazrednog građanstva. Nkonde ovo naziva “ciklusa digitalne sumnje”, upozoravajući da tvrdnje o neutralnosti maskiraju dublju istinu. “Neutralnost u pristranom svijetu samo služi status kvo”, dodaje ona.
Otpor, međutim, raste. Muslimanski tehnolozi, pravni naučnici i zagovornici digitalnih prava počinju da izazivaju neprozirnost algoritamskih sistema. Ako muslimanske i perspektive Globalnog Juga ostanu odsutne iz međunarodne debate, pristrasnost će nastaviti biti tretirana kao tehnički kvar umjesto političke nepravde.
“Dok muslimanski glasovi ne budu dio pisanja pravila, etika AI će ostati zapadna razgovor o globalnim problemima”, kaže Nkonde. Širom Evrope, organizacije civilnog društva pritiskaju na transparentnost kroz EU AI Act, koji uvodi klasifikacije rizika i mehanizme nadzora.
Ipak, sprovođenje ostaje nekonzistentno, a izuzeci za nacionalnu bezbjednost omogućavaju vladama da rade neprozirne tehnologije pod radarem.
Dublji problem, međutim, leži izvan regulacije. To je kulturni i institucionalni. Pristrasnost AI nije samo softverski problem već odraz onoga ko odlučuje kako “rizik” izgleda i čija bezbjednost najviše znači.
“AI sistemi rade na onome što se unosi u njih i na onome što algoritmi i programi rade unutar njih. Bez sumnje, u svakom AI sistemu će postojati pristrasnosti, što znači da mogu početi da se fokusiraju ili traže određene obrasce koje bi čovjek znao da su manipulirani ili samo netačni”, rekla je Imane A. Atta, direktorka Tell MAMA, za TNA.
“Zato je ljudski nadzor tako važan, i zato je oslanjanje samo na AI potencijalna stvarna opasnost kada ih povežete sa profitabilnim pothvatima”, dodaje ona.
“Anti-muslimanska predrasuda može lako ući u AI ako programi prepoznaju visok volumen takve aktivnosti, prepoznaju ključne uticajne osobe koje je promovišu ili da se prodaje veći volumen proizvoda. Oni mogu legitimisati takvu aktivnost ili čak pojačati je.”
Sistemi trenirani na strahu će nastaviti da reproduciraju strah, bez obzira na tehničku sofisticiranost. Kao što nas Nkonde podsjeća: “Mi stalno pitamo kako da učinimo mašine pametnijim kada bismo trebali pitati kako da učinimo sisteme pravednijim.”
(TBT)
