Beh, non che fosse plausibile il contrario, comunque.
Qualche giorno fa stavo dando una sistemata al mio archivio di Google Photos, usando la funzione di ricerca. La ricerca può esser condotta a partire da una data, un luogo o una keyword specifica.
Così, se nella barra digito “agosto 2020” la ricerca mi restituirà tutte le foto scattate o archiviate in quel periodo di tempo. Ma cosa succede se decido di cercare uno o più contenuti specifici attraverso una parola chiave?
Beh, dipende.
Niente di particolarmente significativo per “mare” o “libro”. Con “libro” l’algoritmo restituisce anche la foto di un calice di vino, ma solo perché sullo sfondo è presente una libreria.
I problemi, diciamo, arrivano quando una keyword è passibile di interpretazione, e l’interpretazione- anche dell’AI- avviene attraverso bias cognitivi.
Così, per “mamma”, il risultato che ottengo è quello di avere fotografie di persone di entrambi i generi. Il criterio di inclusione è piuttosto chiaro: se ha un bambino in braccio, è mamma.
Funziona nello stesso modo per “nonna”: persona anziana con in braccio un bambino, non necessariamente di sesso femminile.
Il mio compagno, un amico e un’amica con ə rispettivi bambinə, per l’AI sono “mamme”
Ok, è una falla nel sistema e questo dato non è nemmeno particolarmente significativo perché basato su una ricerca insufficiente e sull’esperienza di una sola persona.
Quindi ho fatto delle ricerche (ma va?) per capire se la falla di sistema fosse appunto, ehm, sistemica (di AI e gender bias mi ero già occupata in passato, quando ho scritto questo).
Secondo uno studio, le AI per il riconoscimento delle immagini che sono state addestrate da alcune delle raccolte di foto di ricerca più utilizzate stanno sviluppando pregiudizi sessisti.
Il professore di informatica dell’Università della Virginia Vicente Ordóñez e colleghə hanno testato due delle più grandi raccolte di foto e dati utilizzati per addestrare questi tipi di AI (inclusa una supportata da Facebook e Microsoft) e hanno scoperto che il sessismo era, appunto, sistemico.
Ordóñez ha iniziato la ricerca dopo aver notato uno schema inquietante nelle ipotesi fatte dal software di riconoscimento delle immagini che stava costruendo.
“Se riconosce l’immagine di una cucina il più delle volte la associa a donne, non a uomini”, ha detto Ordóñez a Wired , aggiungendo inoltre che abbinava le donne alle immagini che avevano a che fare con acquisti, l’atto di lavare qualcosa e persino oggetti da cucina come le forchette.
E questo processo funziona anche al contrario, associando agli uomini attività strereotipicamente maschili come la caccia, l’allenamento (?) e a oggetti come le attrezzature sportive. Un uomo in piedi davanti a un fornello, ad esempio, diventa in automatico “donna”.
Per lo studio, il team ha esaminato i set fotografici ImSitu (creato dall’Università di Washington) e COCO (che è stato inizialmente realizzato da Microsoft ed è ora co-sponsorizzato da Facebook e dalla startup MightyAI). Entrambi i set contengono oltre 100.000 immagini di scene complesse e sono etichettate con descrizioni.
Oltre ai pregiudizi nei set di allenamento, i ricercatori hanno scoperto che le IA validano e “spingono” ulteriormente questi pregiudizi.
“Ad esempio, l’attività del cucinare ha oltre il 33% di probabilità in più di coinvolgere le femmine rispetto ai maschi in un set di allenamento e un modello addestrato amplifica ulteriormente la disparità al 68% al momento del test”, si legge nel documento, intitolato “Agli uomini piace anche fare shopping” che ha pubblicato nell’ambito della Conferenza 2017 sui metodi empirici sull’elaborazione del linguaggio naturale. Dal lato maschile, il sistema associava gli uomini agli oggetti informatici (come tastiere e mouse) in modo ancora più forte di quanto non facesse il set di dati iniziale.
Perciò, l’AI apprende ad “essere sessista” dalle foto che usa per imparare. E questo succede perché, a differenza degli umani, gli algoritmi non sono attrezzati per contrastare consapevolmente i pregiudizi né quando li incontrano né successivamente.
Sono andata avanti nella ricerca e ho scoperto che, nel 2015, Google Photos era già stata nell’occhio del ciclone poiché il sistema aveva identificato persone dalla pelle più scura di ciò che sarebbe stato etichettato come “caucasico” come “gorilla”. Sembra che Google non sia stato in grado di trovare una soluzione praticabile a questo problema e, invece, ha semplicemente deciso di bloccare le parole “gorilla”, “scimpanzé” e “scimmia”, in modo che fosse impossibile per l’algoritmo etichettare le immagini come tali .
Poi mi è tornato in mente Tay. Vi ricordate di Tay, progettato da Microsoft? Era un chatbot di Twitter lanciato da Microsoft a marzo 2016. Quello che avrebbe dovuto fare era “imparare” leggendo tweet e interagendo con le community. Ci sono volute solo poche ore prima che Tay, ingannato dagli utenti dei social media, iniziasse a postare tweet offensivi, sessisti e razzisti, come “Odio le femministe e dovrebbero morire tutte e bruciare all’inferno” e riferirsi al presidente degli Stati Uniti Barack Obama come “la scimmia.” Microsoft ha disconnesso il chatbot entro 24 ore dal suo lancio.
@Nguyen Dang Hoang Nhu on Unsplash
L’intelligenza artificiale è discriminatoria a causa del suo processo di apprendimento
La natura discriminatoria dell’AI può essere collegata al suo funzionamento, in particolare ai suoi processi di machine learning e word embedding.
L’apprendimento automatico è il processo attraverso il quale l’intelligenza artificiale è in grado di eseguire attività senza essere stata esplicitamente codificata per farlo.
Perciò, “impara” dai modelli trovati in enormi set di dati da cui si alimenta. Questi modelli sono algoritmi “word embedding” che traducono le relazioni tra le parole in numeri in modo che un computer possa utilizzarle, come ‘A sta a B come X sta a Y.’ Il problema qui è che i computer non sono in grado di discriminare tra relazioni benigne e relazioni che pongono problemi etici e morali: tutto ciò che fanno è cercare uno schema. Poiché le macchine imparano “leggendo” il materiale a loro disposizione (come Tay su Twitter), alla fine producono relazioni del tipo “l’uomo sta al programmatore di computer come la donna sta alla casalinga”.
L’apprendimento automatico distorto può avere conseguenze tragiche. Durante gli anni 2010, gli Stati Uniti hanno utilizzato un programma chiamato Correctional Offender Management Profiling for Alternative Sanctions (COMPAS) all’interno del sistema giudiziario per valutare i rischi di recidiva. Senza la supervisione umana, COMPAS raccomandava pene detentive più lunghe per le persone nere rispetto ai bianchi perché aveva identificato un modello di recidiva basato su elementi come “residenza”, “personalità criminale”, “abuso di sostanze” e “isolamento sociale” all’interno del set di dati con cui era stato addestrato. COMPAS prevedeva quindi un rischio di recidiva superiore all’effettivo per gli imputati neri e un rischio inferiore all’effettivo per gli imputati bianchi, esacerbando i pregiudizi umani esistenti.
L’intelligenza artificiale è discriminatoria perché noi lo siamo
È in realtà un motivo abbastanza ovvio: gli ingegneri e i designer dietro l’intelligenza artificiale sono generalmente uomini bianchi. In Europa solo l’11,2% delle posizioni di leadership nei settori STEM (scienza, tecnologia, ingegneria e matematica) è ricoperto da donne. Questa cifra sale leggermente con il 18,1% in Nord America.
@Alex Knight su Unsplash
A causa quindi della mancanza di diversificazione, i pregiudizi sessisti e razzisti sono, consapevolmente o meno, incorporati in algoritmi e codici che alimentano l’apprendimento automatico e i sistemi di intelligenza artificiale.
Un noto esempio di tali pregiudizi può essere trovato in qualunque software di riconoscimento facciale e che si esprime nella massima: “Il riconoscimento facciale è accurato, se sei un tizio bianco”, come riportato, tra gli altri, dal New York Times . Quando una foto mostra un uomo bianco, il 99% delle volte il software identificherà sia la carnagione che il sesso. Tuttavia, più la pelle è scura, più è difficile per il software distinguere tra maschio e femmina. Il tasso di errore è il più alto per le donne dalla pelle più scura.
Il prossimo passo: le competenze
Le buone pratiche femministe intersezionali sono una competenza centrale e trasversale a qualunque campo. Integrando queste competenze di genere nei sistemi di intelligenza artificiale ad esempio, si possono comprendere meglio i problemi ed arrivare a soluzioni per mitigare i pregiudizi stessi. Da dove iniziare? Dal riconoscere e lavorare contro le pratiche dannose sui dati, come delineato nel Feminist Data Manifest-No .
Uscendo dal campo dell’AI e del machine learning, possiamo incorporare queste competenze in qualunque processo, a partire dall’avere un pensiero particolarmente critico sul tema della rappresentanza.
Chi è rappresentato nel team che porta avanti un progetto?Che ruolo ha?
Chi manca?
Quali dati e processi stiamo utilizzando e perché?
Quali bias stiamo perpetrando e come?
È chiaro che la diversificazione è l’unico modo per poter incorporare e promuovere la diversità di genere, l’equità e l’inclusione. Riconoscendo che né dati, né algortimi e né processi sono neutri facciamo un primo importante passo.
Il secondo, come sempre, è farsi da parte.
Se sei biancə, abile, eterosessuale e vivi in un paese industrializzato sei sedutə su diversi privilegi e continui a portarli nel mondo come pregiudizi attraverso il tuo lavoro, che tu lo sappia o meno.
Riflettere su questo e incorporarne pensiero e pratiche all’interno della cultura aziendale di certo costa fatica, ma non denaro. Anzi, le aziende con rappresentanza diversificata guadagnano di più.
Da leggere:
Data Feminism, di Catherine D’Ignazio e Lauren F. Klein, edito da Mit Press
Ti spiego il dato, di Donata Columbro, edito da Quinto Quarto Edizioni
Da guardare:
Da ascoltare:
Palinsesto Femminista- Women in Stem, con Melissa Licciardello
Ah, auguri.
Per tutto ciò che per voi conta.
