Immagina di vivere in un mondo in cui lo Stato, la polizia, i Social Network, le app di acquisti online e persino gli altri utenti abbiano facilmente accesso a tutte le informazioni su di te, dal gusto di gelato preferito alla formazione scolastica e lavorativa, dal numero di scarpe alle preferenze sessuali. Un mondo dove tutto sia calcolato e determinato attraverso l’estrazione e l’aggregazione di dati, in cui, aspetto fondamentale, persino le tue future possibilità, le eventuali offerte di lavoro, le relazioni amicali e amorose, possano essere continuamente ricalibrate e strutturate attraverso la previsione statistica. In questo mondo, ogni possibilità di scelta è, dunque, prevedibile e influenzabile in virtù di fattori calcolabili statisticamente. Immagina, inoltre, che ognuna delle tue scelte precedenti, rafforzi tali fattori, la cui gran parte – nome, sesso, etnia, nazionalità, classe sociale, residenza – sono presenti da prima che tu nascessi, contribuendo così a incasellarti nei binari su cui si muoverà la tua vita, in una naturalezza spesso inconscia. Grazie all’avvento della profilazione algoritmica e della predittività legata all’utilizzo dell’IA, che rinforzano ulteriormente tale naturalezza inconscia legata a tutti i fattori di cui sopra, è questa la direzione che ha intrapreso il nostro vivere comune. Tutti i tuoi dati digitali, infatti, sono gli ingredienti di un calderone in cui mescolare quelli delle persone a te probabilisticamente affini, al fine di ottenere – e ricalibrare real time – il tuo profilo.

La profilazione non nasce certo con il digitale: come mostra Colin Koopman in How We Became Our Data, è da molto tempo che stiamo diventando i nostri dati: certificati di nascita, test psicologici quantitativi, estratti conto, passaporto, codice fiscale e così via, sono parte integrante del percorso di affinamento delle tecnologie di raccolta ed elaborazione dei dati. Con l’avvento del digitale, questo movimento ha avuto una fortissima accelerazione grazie alla possibilità di raccolta e aggregazione di enormi quantitativi di dati. A questo, occorre aggiungere l’implementazione dell’IA, tecnologia che permette di automatizzare predizioni e decisioni – su base probabilistica – , grazie all’incredibile capacità di computazione dei dati.

Tale duplice movimento, nell’orizzonte del Nord del mondo, è funzionale in primis alla personalizzazione del marketing: la profilazione è, infatti, rivolta soprattutto a personalizzare l’offerta di contenuti, beni e servizi (più o meno utili) da proporre alla consumatrice e al consumatore in maniera naturale e spontanea. Vediamo quotidianamente che, molto spesso, la proposta di prodotti di marketing non è poi così naturale e perfetta, ma è facile notare quanto si avvicini alle nostre esigenze. Pensiamo, ad esempio, a Google Maps che ci propone un ristorante proprio nei pressi del luogo di arrivo impostato. O agli annunci pubblicitari che appaiono sui social. Ma – ed è questo un grosso ma – la profilazione non riguarda certo soltanto il marketing: se tu fossi una bambina palestinese, il tuo profilo sarebbe molto più affine a quello di un terrorista che a quello di una tua coetanea bersagliata da annunci sulle Winx, anziché da droni intelligenti. Eppure avete la stessa età, magari anche tantissimi interessi in comune. Ma ci sono tutti gli altri fattori, ben evidenti. E, soprattutto, è presente un aspetto che è nascosto dietro l’oggettività delle decisioni automatizzate dell’IA: la reiterazione dei bias nella raccolta dei dati. 

Fermiamoci un attimo a riflettere: se tu fossi una persona bianca occidentale che legge abitualmente articoli in rete su blog culturali, potresti aver ricevuto l’inserzione per questo articolo. Magari non conosci la rivista, ma la profilazione algoritmica ha determinato che, in virtù della somiglianza del tuo profilo con quelli di migliaia di altri, potessi essere l’obiettivo adatto a un contenuto del genere. Al contempo, se fossi una persona profilata con dei caratteri – ad esempio, etnia, classe sociale, genere, gusti musicali ecc. – statisticamente affini a chi commette più reati, potresti facilmente essere vittima di discriminazioni da parte di banche, datori di lavoro, polizia e così via. Questo non è semplicemente un rischio, ma avviene di frequente: pensiamo ad esempio alla profilazione automatica utilizzata da numerosi servizi di sicurezza, che regolarmente riproducono bias razziali, così come le tecnologie automatizzate di riconoscimento facciale (1).  

Ciò avviene perché le decisioni dell’IA sono fondate su ampissime capacità di calcolo ma, è bene sottolinearlo, da nulle capacità di discernimento critico dei dati. Ciò implica che la raccolta e l’utilizzo di dati e profili funzionali alle decisioni vadano continuamente ridiscussi e analizzati in maniera critica, il ché implica la decisione pubblica e politica al riguardo. Se ciò non avviene – e non sta avvenendo in maniera così visibile – rischiamo di costruire un’architettura decisionale che, fondata sul marketing, si estende a dismisura su ambiti sempre più ampi della vita. 

Pensare che tutto ciò sia limitato alla navigazione su Internet è una leggerezza imperdonabile, poiché riguarda scelte che devono essere condivise e non delegate a società private con tendenze monopolistiche – e fortemente gerarchizzate, se non del tutto dispotiche – come le Big Tech. Portato agli estremi, questo movimento produrrebbe l’ironica distopia immaginata da Marc-Uwe Kling in QualityLand, un mondo in cui le auto a guida automatica ti portano direttamente a casa senza chiederti l’indirizzo e dove i droni ti consegnano le merci ancor prima che tu le ordini:

Peter stacca il pacchetto dal drone che borbotta. Non ha ordinato niente, ma in fondo non è più necessario da quando esiste OneKiss, un servizio esclusivo di TheShop […] Chi si iscrive a OneKiss […] riceverà tutti i prodotti che desidera, in maniera conscia e inconscia, senza nemmeno doverli ordinare. Per ogni cliente il sistema calcola autonomamente quello che vuole e quando lo vuole, tanto che sin dall’inizio lo slogan di TheShop recitava: “Sappiamo noi quello che vuoi”. E ormai nessuno può negarlo.(2)

Quest’estremizzazione ci permette di enfatizzare quanto le tecnologie digitali siano l’infrastruttura necessaria a tantissimi aspetti (persino i più intimi) delle nostre vite. Sotto questa luce, pensare di fondarne l’architettura su dati potenzialmente discriminanti – accettandoli automaticamente come fossero oggettivi e neutri – rischia di produrre un sistema decisionale simile al Processo di Kafka, in cui chiunque può essere accusato – e dichiarato colpevole – senza sapere da chi e per cosa. Al contempo, non sembra saggio nemmeno rinunciare alle possibilità enormi date da tali tecnologie: gran parte delle nostre vite è mediata da sistemi digitali che estraggono, aggregano e calcolano enormi quantitativi di dati, e questo – a scanso di equivoci – ha anche notevoli effetti benefici (3). Per coglierli a pieno, però, è necessario un profondo lavoro di ridiscussione critica, partendo dal dato che la tecnologia non è mai neutrale, e men che meno lo sono l’utilizzo e lo sviluppo. 

NOTE

1. Esemplare, in tal senso, è il caso di Robert Julian-Borchak Williams, arrestato a causa di un errore – ricorrente nel caso delle persone nere – del sistema automatico di riconoscimento facciale: https://www.wired.it/attualita/tech/2020/07/02/razzismo-algoritmi-prima-vittima/. Riguardo alla regolarità della discriminazione razziale nell’assegnare punteggi legati al rischio di commettere reati, si segnala l’interessante articolo di Julia Angwin, Jeff Larson, Surya Mattu e Lauren Kirchner, pubblicato su ProPublica il 23 maggio 2016, reperibile al link https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.

2. Kling M., QualityLand, Feltrinelli, Milano 2020, p.18.

3. Un utile lettura al riguardo è sicuramente Etica dell’intelligenza artificiale di Luciano Floridi, edito da Raffaello Cortina nel 2023.