Quando l’estate scorsa un gruppo di profughi siriani e palestinesi è rimasto bloccato su un isolotto infestato dagli scorpioni alla frontiera tra la Grecia e la Turchia, nel fiume Evros, le autorità greche ci hanno messo più di dieci giorni a inviare i soccorsi. Sostenevano di non riuscire a localizzarli, nonostante avessero ricevuto le loro precise coordinate geografiche.

L’inverosimile affermazione, smentita da un’inchiesta di Deutsche Welle, è un perfetto esempio della disinvoltura con cui le autorità greche mentono, ma anche dell’uso selettivo che l’Unione europea fa delle tecnologie di sorveglianza alle frontiere. Un altro esempio di questo uso selettivo è arrivato quattro mesi dopo. Nel dicembre del 2022, le organizzazioni Human rights watch e Border forensics hanno accusato Frontex, l’agenzia europea della guardia di frontiera e costiera, di usare i suoi droni e i suoi aerei per localizzare e segnalare alla guardia costiera libica le imbarcazioni di profughi, rendendosi complice delle violenze che subivano una volta riportati in Libia.

La stessa tecnologia è stata tralasciata quando poteva salvare delle vite e usata per respingere dei richiedenti asilo. In entrambi i casi, le autorità non hanno esitato a commettere un atto illegale – l’omissione di soccorso e la complicità con la guardia costiera libica – violando i diritti fondamentali di persone considerate indesiderabili.

Legislazione mancante
È questo il contesto in cui l’Ue si prepara ad approvare la prima proposta di regolamento sull’intelligenza artificiale, un testo che, allo stato attuale, rischia di peggiorare l’impatto già devastante delle tecnologie messe al servizio delle politiche migratorie e di asilo dell’Unione.

“Tutto ciò che è attualmente in uso non è regolamentato”, spiega Caterina Rodelli, analista presso Access now, un’organizzazione di difesa dei diritti civici digitali. O meglio, “esistono norme ma non considerano tutti i tipi di diritti che possono essere violati. Prendiamo l’esempio del Regolamento generale sulla protezione dei dati (Gdpr): tanti sistemi di sorveglianza basati sull’intelligenza artificiale processano dati, ma il Gdpr protegge solo la privacy e i dati della persona, mentre oggi osserviamo violazioni a vari livelli (discriminazione, violazione del diritto d’asilo, del diritto a un giusto processo). Manca una legislazione che riconosca la complessità della situazione creata dall’uso di questi sistemi e l’impatto dell’automazione e dell’intelligenza artificiale sui controlli alle frontiere e sulle procedure di asilo”.

Access now fa parte di una coalizione di organizzazioni che si batte affinché il regolamento sull’intelligenza artificiale rispetti i diritti fondamentali di tutte e tutti, comprese le persone costrette a raggiungere in modo “irregolare” l’Unione europea o quelle prive di un permesso di soggiorno. Attraverso la campagna #protectnotsurveil, hanno evidenziato i numerosi limiti della proposta fin dall’aprile del 2021, quando è stata presentata dalla Commissione.

Il testo raggruppa i diversi sistemi di intelligenza artificiale usando categorie di rischio (alto-medio-basso), a seconda di quanto essi possano causare la violazione di un diritto fondamentale, e ogni categoria è sottoposta a requisiti diversi. “I regolamenti, però, dovrebbero fissare delle regole in cui il metro di misura non è il grado di rischio, ma il rispetto o meno di un diritto fondamentale, come fa il Gdpr” (per il Gdpr, infatti, un sistema è autorizzato o vietato a seconda che rispetti o meno il diritto alla privacy e alla protezione dei dati). Di positivo, invece, c’era il fatto che la proposta prevedesse la possibilità di vietare l’uso di alcune tecnologie. “Ma se è vero che si prevedeva di proibire alcuni sistemi, come il riconoscimento biometrico a distanza (in pratica tutti i sistemi che permetterebbero una società della sorveglianza), nel campo delle migrazioni non c’era nessun divieto”.

L’11 maggio il testo è stato approvato – “con diversi miglioramenti”, secondo Rodelli – da due commissioni del parlamento europeo, la commissione mercato interno e protezione dei consumatori e quella responsabile di libertà civili, giustizia e affari interni. Sono stati introdotti alcuni nuovi divieti d’uso, come quelli per i sistemi di riconoscimento delle emozioni (o “macchine della verità”, notoriamente fallaci) e i sistemi di categorizzazione biometrica, tra cui quelli che permetterebbero di identificare l’esatto luogo di origine di una persona analizzando come parla (alla fallibilità di questi sistemi, usati per esempio in Germania nelle procedure di asilo, è in parte dedicato il bellissimo documentario By the throat degli artisti Effi & Amir, in cui si osserva che “ogni suono è un potenziale posto di blocco: l’attraversamento non è garantito”).

Tuttavia, neppure in questa versione rivista e migliorata della proposta si è arrivati a vietare l’adozione di alcuni sistemi d’intelligenza artificiale nell’ambito delle politiche migratorie e di asilo, nonostante “alcuni sistemi, secondo la società civile ma anche secondo esperti del mondo accademico, porteranno inevitabilmente a violazioni dei diritti umani”, assicura Rodelli. “Ci si è limitati a inserirli nella categoria ‘ad alto rischio’”.

Concretamente, vuol dire che chi produrrà e userà questi sistemi dovrà prima condurre una valutazione d’impatto sui diritti fondamentali, anche se “le specifiche di questa valutazione non sono ancora chiare”, spiega Rodelli. “Come non è chiaro chi sarebbe incaricato di approvarla”. Nella proposta si parla di un nuovo comitato europeo per l’intelligenza artificiale, mentre, a livello nazionale, si legge che “gli stati membri dovranno designare autorità di controllo incaricate di attuare i requisiti legislativi”.

Sistemi che spopolano
In ogni caso, è fondamentale che ci sia quanta più trasparenza possibile intorno a questi sistemi, che dovrebbero essere registrati in una banca dati pubblica: “Solo così sarà possibile stabilire le responsabilità in caso di violazione dei diritti”, osserva Rodelli, che a questo proposito aggiunge: “Le commissioni del parlamento hanno inserito nel testo dei meccanismi di ricorso rispetto ai sistemi ad alto rischio, anche se in modo non del tutto soddisfacente. Per esempio non è prevista la possibilità per le organizzazioni di pubblico interesse di proporre un ricorso a nome di un individuo. Le autorità temono di essere sommerse da azioni legali avviate dalle ong”.

Nella versione approvata dalla due commissioni parlamentari restano inoltre fuori della categoria ad alto rischio i sistemi di predizione dei movimenti migratori, che spopolano sia tra i governi decisi a bloccare gli arrivi di richiedenti asilo e “migranti irregolari” sia tra le organizzazioni attive nel campo dell’accoglienza.

Rodelli fa l’esempio del progetto ItFlows, finanziato dal programma europeo Horizon 2020 e commissionato a università, istituti di ricerca e ong tra cui Oxfam Italia e Croce rossa italiana. Il consorzio dovrebbe presto presentare un sistema basato “sulla previsione dei flussi migratori e sull’identificazione dei rischi di tensioni tra migranti e cittadini dell’Ue” (si legge sul sito del progetto), in grado di aiutare municipalità e ong a essere più preparate: “Come se la scarsa capacità di accoglienza fosse dovuta alla mancanza di informazioni sui flussi futuri e non alla volontà politica di non accogliere quelle persone”, accusa Rodelli. Nel settembre 2022, diciotto organizzazioni tra cui Access now hanno pubblicato una lettera in cui chiedevano ai membri del consorzio ItFlows di mettere fine a un progetto che “legittima l’uso di strumenti tecnologici che favoriscono la criminalizzazione e la concezione sicuritaria della migrazione”.

Per i governi la predizione e l’automazione delle decisioni hanno il vantaggio di presentare come oggettive e neutrali scelte di natura politica, tanto più che queste tecnologie si basano su un inevitabile “automation bias”, o condizionamento dell’automazione: algoritmi e modelli predittivi sono infatti costruiti raccogliendo dati di per sé tendenziosi, come quelli sui “migranti irregolari”, espressione che categorizza delle persone come potenzialmente pericolose. E, all’altro capo del processo, l’essere umano incaricato di interpretare quelle decisioni o previsioni, e in teoria libero di contestarle, sarà doppiamente condizionato: dal contesto politico in cui opera, e da un sistema d’intelligenza artificiale che si presenta come imparziale.

Nessun obbligo di trasparenza
Il 14 giugno il parlamento europeo è chiamato a votare sul testo approvato l’11 maggio dalla grande maggioranza dei membri delle due commissioni, e non è escluso che, con il voto in plenaria, si torni indietro su alcuni punti. Ma la vera battaglia comincerà dopo, nella fase dei triloghi, le discussioni molto poco trasparenti tra parlamento europeo, consiglio europeo e commissione europea per raggiungere l’accordo sulla versione definitiva del regolamento, quasi certamente entro la fine di questa legislatura. “Il consiglio ha presentato la sua versione a dicembre, eliminando, rispetto alla proposta della commissione, qualsiasi obbligo di trasparenza per le autorità di polizia e di controllo delle migrazioni”, spiega Rodelli. “In altre parole, le autorità sarebbero tenute a rispettare il regolamento, ma non sarebbero obbligate a fornire informazioni su come lo rispettano. Vorrebbe dire portare avanti quella che è già la norma, ovvero l’impunità”.

Se gli stati membri sono così decisi a mantenere questa norma, è perché l’uso di tecnologie basate sul machine learning e l’automazione delle decisioni è già diffuso nell’ambito delle politiche migratorie e di asilo. Numerosi esempi sono stati raccolti nel quadro del progetto europeo Afar (Algorithmic fairness for asylum seekers and refugees) e della campagna #protectnotsurveil (in particolare nel rapporto Uses of Ai in migration and border control). L’Italia è citata per l’uso – poi proibito dal garante della privacy – di sistemi di identificazione biometrica a distanza: il Sari real time, usato nei porti per identificare le persone che sbarcavano, e il sistema adottato a Como in collaborazione con la Huawei per identificare le persone in soggiorno irregolare che dormivano nei parchi: “Sono stati bloccati perché in Italia c’è un garante della privacy forte”, commenta Rodelli.

Queste iniziative ci ricordano che dietro ogni tecnologia adottata con entusiasmo da governi e autorità locali per sorvegliare e respingere i migranti, ci sono aziende altrettanto decise a conservare la loro libertà: libertà di innovare senza troppi freni e di mettere sul mercato i loro prodotti (l’organizzazione Corporate Europe observatory ha pubblicato a febbraio un rapporto sul lavoro di lobby delle grandi aziende tecnologiche per “rendere inoffensivo” il regolamento sull’intelligenza artificiale), libertà anche di sperimentarli su categorie di persone che hanno meno possibilità di far valere i loro diritti fondamentali.

Purtroppo, osserva Rodelli, “le critiche all’intelligenza artificiale si concentrano su altro, ovvero sul rischio che possa sostituire l’essere umano. La realtà è che questi sistemi esistono e hanno già effetti deleteri, ma su categorie di persone considerate meno importanti”. I prossimi mesi ci diranno se il nuovo regolamento permetterà di ridurre questi effetti tutelando realmente i diritti fondamentali di tutte e tutti, o se finirà invece per legittimare e automatizzare le discriminazioni, il sospetto e la violenza che l’Unione europea riserva a chi cerca protezione e una nuova vita sul suo territorio.