Algoritmi

(brano tratto da: “Why algorithms aren’t working for women”, una molto più lunga intervista a Liz Rush di Susan Cox per Feminist Current, 7 aprile 2017. Trad. e adattamento Maria G. Di Rienzo. Liz Rush, in immagine, è una femminista e un’ingegnera informatica.)

Susan Cox (SC): Allora, cos’è esattamente un algoritmo?

Liz Rush (LR): Per dirla semplicemente, è una serie di regole o passi che devono essere fatti per calcolare o risolvere problemi al computer. E’ come una ricetta. Ci sono passi differenti che tu fai in un determinato ordine e quando hai finito, il piatto pronto è il risultato.

SC: Che effetto hanno gli algoritmi sulla società moderna?

LR: Gli algoritmi sono ovunque, ma sono per lo più invisibili a noi. Sono nel tuo feed di FB, in quel che vedi su Twitter, in ogni sorta di cose su Internet – persino nei motori di ricerca. Questo contesto con cui tu interagisci su base giornaliera è completamente informato da potenti algoritmi che apprendono meccanicamente. Quel che vedi è filtrato da algoritmi che sono stati personalizzati e modificati in base a quel che una compagnia commerciale o un programma pensano tu voglia vedere. Questo è un concetto che noi chiamiamo “la bolla filtro” e si riferisce agli algoritmi che interessano i confini di ciò che vediamo su Internet. Quando tu usi Google e cerchi un termine, non ti sono dati solo i migliori risultati che più si avvicinano a quel termine. Vengono presi in conto la cronologia delle tue ricerche, la tua relazione con le statistiche demografiche e le tue abitudini per gli acquisti online, e si prendono nel conto anche le persone che si trovano nella stessa città in cui tu fai la ricerca. Perciò, se tu e io cerchiamo la stessa cosa, avremo molto probabilmente risultati simili perché siamo interessate agli stessi argomenti, siamo entrambe donne bianche, siamo entrambe “millennial”, eccetera.

SC: Quindi i risultati non sono basati unicamente sul trovare il contenuto più rilevante e accurato in base ai termini di ricerca?

LR: Loro hanno un algoritmo che determina quali siti web saranno mostrati nei risultati della ricerca, basati sui contenuti di quei siti e da una varietà di altri fattori che determinano se loro pensano o no che corrispondano al tuo input. Ma i dati stanno diventando sempre più intrecciati con quelli personali tuoi e di altra gente. Per esempio, quando vedi la schermata di Google con i risultati è il momento in cui vedi un algoritmo che apprende meccanicamente: sta tentando di capire cosa stai cercando basandosi sulla tua storia e sulle storie di utenti simili a te. E se trovi quel che cercavi, cerca di capire se è corretto o no. Ma ovviamente puoi osservare come un algoritmo possa apprendere pregiudizi, tipo se cerchi “Perché le donne sono così…”. Molto spesso non ne risulta un’immagine lusinghiera delle donne, o delle persone di colore, o di una minoranza qualsiasi.

SC: Perciò il sessismo e il razzismo possono diventare incorporati nell’algoritmo stesso?

LR: La discussione sul fatto che un algoritmo possa essere sessista o razzista solleva un mucchio di opinioni roventi, perché la verità in materia è che quando scrivi un algoritmo scrivi una ricetta: e in se stessa non è necessariamente razzista o sessista o classista. Ma, quando l’algoritmo apprende da un feedback pieno di pregiudizi, o usa dati iniziali che sono allo stesso modo pieni di pregiudizi, allora il razzismo o il sessismo diventano parte dei risultati. Se per esempio cerchi lavori online per donne, troverai lavori meno pagati di quelli che troveresti per gli uomini. Questo schema è stato confermato più volte. Per cui, la questione centrale degli algoritmi è: al di là delle intenzioni della persona che scrive l’algoritmo, se il disegno di quest’ultimo permette all’auto-rinforzamento del pregiudizio di continuare – di propagarsi – allora i risultati avranno quella determinata intenzione, se non corretti.

SC: Noi spesso guardiamo alla tecnologia come a qualcosa di neutro rispetto ai valori – solo freddo e duro calcolo. Non pensiamo che Google abbia dei contenuti perché si suppone si tratti di un mero riflesso di una parola online. Tu stai dicendo che Google ha invece un ruolo attivo e significativo nel dare forma a quel che vediamo online?

LR: Assolutamente sì. Tu senti la parola “algoritmo” e pensi alla matematica, alla scienza, ai computer. E credi che i computer siano “neutri” perché in fondo sono solo “zero e uno”. Ma la realtà è che sono persone a disegnare questi sistemi e fanno delle scelte etiche su come i sistemi dovrebbero funzionare. Un esempio sono gli algoritmi nei nostri dispositivi medici. C’è un algoritmo nei pacemaker che aiuta a determinare il tuo battito cardiaco. Ma i pacemaker sono stati progettati, originariamente, solo per gli uomini: erano troppo grandi per stare nel petto di una donna in moltissimi casi. Perciò, se l’algoritmo che determina quando il tuo cuore deve battere non è stato disegnato per il tuo corpo, quell’algoritmo avrà un impatto su di te.

SC: Perché quando faccio una ricerca su Google relativa alle donne i risultati sono così pornificati? In special modo considerando che Google sta tenendo in conto la cronologia delle mie ricerche e i miei interessi? Io non ho mai cercato video porno o altre cose del genere.

LR: Sì. E’ proprio stressante. Quando cerchi la parola “donna”, la ricerca non si basa solo sui tuoi dati. Loro sanno che la stragrande maggioranza degli utenti che cercano la parola “donna” seguiranno link che portano alla pornografia.

SC: Molti risultati della ricerca di immagini per qualsiasi cosa riferita alle femmine sono, di base, pornografia soft. E anche se usi l’opzione “ricerca sicura” essa non ha alcun effetto su questo, neppure nel caso dei bambini quando cerchi il termine “ragazza” o “bambina”.

LR: E’ orrendo. Come adulti, noi possiamo razionalizzare la situazione e dire: “Okay, lo so che la pornografia è un enorme motore per Internet e tutte queste tecnologie.” Ma se sei una 12enne che usa Internet per la prima volta, tentando di trovare un videogame su Nancy Drew, le possibilità che tu veda accidentalmente pornografia sono estremamente alte, perché gli algoritmi hanno questo processo incorporato del tentare di ottimizzare gli utenti che seguono i link dei risultati, così come gli annunci pubblicitari. E la pornografia è un grande fattore chiave per gli affari.

SC: C’è il fatto che le compagnie commerciali guadagnano direttamente grazie agli algoritmi che promuovono sessismo e razzismo. Per esempio, di recente un gruppo di maschi ha stuprato una ragazzina di 15 anni e ha mandato la cosa in diretta su Facebook Live. Come accade per tutti i contenuti di FB, c’erano pubblicità sul sito, proprio accanto al video. Significa che FB stava traendo profitto dallo stupro.

LR: Si difendono dicendo che non controllano i contenuti, e questo è vero. Nessuno ha controllato e detto “Sì, questo video dovrebbe essere condiviso”. Ma, in effetti, è stata una decisione presa da un algoritmo, quella che il video apparisse nei feed di altri utenti: e più gente ci clicca sopra, più apparirà nei feed di altre persone, e in questo modo abbiamo l’effetto virale. E chiunque lo guardi vede le pubblicità, così la compagnia ne beneficia.

C’è un’ossessione per l’ottimizzazione negli algoritmi: alcuni sono così altamente ottimizzati che non c’è modo di uscire dal ciclo continuo del feedback. Prendendo ad esempio lo stupro diffuso in diretta, se una donna lo vede e lo riporta a FB e ci sono altri trenta uomini che in quello stesso momento lo stanno guardando e condividendo, l’algoritmo valuterà l’attività dei trenta uomini. Quando lo scopo commerciale è tenerti agganciato a un contenuto, c’è un inerente conflitto di interessi fra lo scopo e l’assicurarsi che il contenuto sia appropriato.

SC: Se qualcuno avesse salvato il video dello stupro diffuso in diretta su Facebook Live e lo avesse caricato da qualche altra parte, allora si troverebbe nei risultati delle ricerche su Google, e anche quest’ultimo ne profitterebbe?

LR: Sì: di base, starebbe su Internet per sempre. Immagini e video sono rispecchiati automaticamente sui server in giro per il mondo. Non è che ci sia un solo sito web e che tu puoi dire “per favore, togli questa roba” e la roba sparisce. La conversazione si complica, poi, perché molte organizzazioni che lottano per i diritti alla privacy su Internet sono finanziate da ditte che producono pornografia. Per esempio Porn Hub e YouPorn dichiarano di star lottando per la tua privacy online, implicando che nessuno dovrebbe venire a sapere che tipo di pornografia cerchi o guardi. E’ una strategia che usano per apparire sul lato etico della tecnologia e allinearsi alla sinistra, ai progressisti e al discorso sulla libertà di parola. Ma fanno questo, anche, per assicurarsi che noi si sia meno inclini a discutere di istanze importanti che riguardano l’etica della pornografia su Internet.

SC: E la quindicenne dello stupro in diretta su FB? Che ne è della sua privacy? Lei sembra scomparire quando gli algoritmi sono ottimizzati per promuovere la pornografia e la conversazione è centrata sulla privacy e la libertà di chi la pornografia la usa.

LR: La sua privacy scompare e c’è di più: quando una storia come questa viene alla luce, le ricerche su di essa sono spinte al massimo, il che traumatizza di nuovo le vittime.

SC: E più ci sono ricerche di un determinato contenuto, come lo stupro della ragazzina, questo significa che l’algoritmo apprenderà a promuoverlo ancora di più nei risultati delle ricerche, giusto?

LR: Giusto.

SC: Cosa possiamo fare per smettere di abbandonare a se stesse queste vittime?

LR: Cominciamo con il non vittimizzarle ulteriormente nelle tecnologie in espansione. Per esempio, gli algoritmi di riconoscimento facciale e i database relativo stanno diventando motivi di preoccupazione. L’attuale dibattito al proposito si concentra per lo più sulla criminalità e il diritto alla protesta. Per cui l’argomento sta diventando una tendenza dominante nelle discussioni, per una buona ragione e cioè che siamo preoccupati per la privacy e il diritto di associarsi liberamente.

Ma la macroscopica omissione in questa conversazione è l’impatto di tale tecnologia sulla pornografia e sulla cultura. Abbiamo due fronti di cui preoccuparci:

1) che il software per il riconoscimento facciale sia usato sulle vittime della pornografia per identificarle. In passato una donna poteva trovare una sua foto intima pubblicata senza il suo consenso, ma in modo anonimo. Con gli algoritmi per il riconoscimento facciale, sta diventando sempre più possibile identificarle qualcuno in un’immagine;

2) ho lavorato per una compagnia commerciale dove, all’epoca, ero l’unica impiegata di sesso femminile. E il nostro presidente era terribilmente esaltato all’idea di creare un’applicazione che avrebbe cercato pornostar basandosi su un’immagine che tu avresti fornito, tipo quella di un’amica, di una collega, di una sorella che un algoritmo avrebbe tentato di far combaciare con il database delle immagini delle pornostar. E nonostante io abbia detto: “Non dovremmo creare un’applicazione simile per nessun motivo.” la mia voce non è stata presa sul serio. C’è voluto che un altro maschio che lavorava là dicesse “Assolutamente no.” perché le mie preoccupazioni fossero ascoltate. Come usiamo la tecnologia è sempre una scelta.

SC: Le poste in gioco mi sembrano molto alte. Mi pare che stiamo parlando di seri pericoli per la privacy e la sicurezza delle donne.

LR: E’ così. Anche se tu usi precauzioni relative alla sicurezza online, i servizi che usi creano dati e questi dati possono essere utilizzati per identificarti: i tuoi network, con chi sei connessa online e come interagisci con tutto ciò.

SC: Ciò può essere pericoloso in special modo per una donna che sta tentando di sfuggire a molestie, a uno stalker, a un ex partner violento, giusto?

LR: Esattamente. Nel mondo della sicurezza, lo chiamano il “modello minaccia dell’ex fidanzato”. Quando pensiamo alla sicurezza online ci vengono in mente hacker e grandi agenzie governative. Ma la verità è che la più grande minaccia alla sicurezza online non è un hacker, ma qualcuno che conosci, come un ex partner o un violento. Questa è una minaccia che è stata presa seriamente da chi disegna sistemi di sicurezza, ma non dalla comunità che disegna algoritmi. Di recente ciò è venuto alla luce quando una giornalista, Ashley Feinberg, è stata in grado di rintracciare gli account Instagram e Twitter del direttore dell’FBI James Comey: lo ha fatto basandosi su chi lui seguiva e interagendo con le applicazioni.

Ciò significa che anche se hai bloccato lo stalker sull’applicazione, lui può eventualmente connettere i punti per identificarti tramite i dati di raccomandazioni e connessioni accessibili senza il tuo consenso negli algoritmi. Se ci pensi, uno dell’FBI dovrebbe avere tutte le risorse a disposizione per l’Internet più sicuro che ci sia, ma persino uno così è stato tracciabile. Pensa a che significa per una donna che sta solo cercando di distanziarsi da un ex che abusava di lei.

SC: Grazie per aver condiviso la tua opinione da esperta. C’è qualcosa che le donne possono fare per proteggere se stesse?

LR: Non voglio alimentare paure su Internet, tuttavia raccomando a tutte di osservare le basi per la sicurezza personale:

https://hackblossom.org/cybersecurity/

Ma il vero modo di cominciare a cambiare questa tecnologia è assicurarsi che noi tutte si sia coinvolte. Significa avere più conversazioni al proposito, imparare di più e prendere davvero sul serio il fatto che la tecnologia che usi ha impatto su di te e sul mondo attorno a te.