Quando la discriminazione della PA proviene dall’AI: un caso inglese

di Michele Di Salvo

Nel Regno Unito il sistema di AI che rileva le frodi sui sussidi è discriminante: il programma di apprendimento automatico utilizzato per esaminare le richieste di pagamento del credito universale seleziona in modo errato le persone di alcuni gruppi più di altri.

È quanto è recentemente emerso dall’inchiesta pubblicata il 6 dicembre 2024 da Robert Booth sul Guardian: il sistema di AI impiegato dal governo del Regno Unito per individuare le frodi in materia di assistenza sociale mostra discriminazioni in base all’età, alla disabilità, allo stato civile e alla nazionalità delle persone.

La valutazione interna del programma di apprendimento automatico utilizzato per esaminare le richieste di pagamento del credito universale in Inghilterra ha scoperto che selezionava in modo errato le persone di alcuni gruppi più di altri quando individuava chi indagare per possibili frodi.

In pratica, il sistema sfavorisce specifici gruppi razziali nelle indagini per presunti abusi del sistema di welfare.

La circostanza emerge dopo un accesso agli atti presso il Department for Work and Pensions.

La decisione conclusiva se una persona riceverà o meno un sussidio di disoccupazione è ancora presa da un essere umano e i funzionari ritengono che l’uso continuato del sistema, che sta tentando di risparmiare circa di 8 miliardi di sterline all’anno, persi a causa di frodi ed errori, risulti “ragionevole e proporzionato”.

Gli attivisti hanno replicato criticando il governo di adottare la politica del “prima fai male, poi risolvi” e hanno invitato i ministri a maggiore correttezza nei confronti dei gruppi che l’algoritmo sospetta, erroneamente, di tentare di imbrogliare il sistema.

Il riconoscimento delle disparità nel modo in cui il sistema automatizzato valuta i rischi di frode, verosimilmente, aumenterà anche il controllo sui sistemi di AI da parte del governo e, al contempo, alimenterà le richieste di maggiore trasparenza.

Nel Regno Unito si contano 55 strumenti automatizzati utilizzati dalle autorità pubbliche, potenzialmente in grado di influenzare decisioni che riguardano milioni di persone, nonostante il registro governativo ne contempli solo 9.

Negli ultimi anni i dipartimenti governativi, tra cui il Ministero dell’Interno, sono stati riluttanti a rilasciare informazioni sull’impiego dell’intelligenza artificiale, giustificando la chiusura nella preoccupazione che più notizie potrebbero consentire a malintenzionati di manipolare i sistemi.

Il caso inglese non è solo né isolato e si deve ad un “pregiudizio” di programmazione e di pesi da assegnare ai dati ben noto, ma difficile da eliminare – non certo dalle macchine ma dalla testa delle persone – e che si deve ad un circolo vizioso già scoperto in molti sistemi predittivi usati ad esempio negli Stati Uniti.

In questo senso l’adozione di modelli standardizzati – con la scusa dell’essere meno costosi rispetto a programmarne di nuovi – non aiuta a risolvere il problema, anzi come un virus propaga da paese a paese e in amministrazioni eterogenee.

È evidente che in baso al peso “storico” di un quartiere nei grandi centri urbani include una convergenza sia razziale che di livello scolastico, che si ripercuote sulle statistiche di reddito, di accesso ai servizi sanitari, e di tipologia di lavoro.

È quindi evidente che un algoritmo così concepito assegnerà maggiori fattori di rischio a determinati quartieri e classi sociali, che trasversalmente e non casualmente, sono anche quelli in cui si concentrano i fabbisogni di sussidi.

Aumentando la percentuale di assorbimento delle richieste di sussidi aumenta anche la percentuale di rischio di eventuali frodi: se nel quartiere A ci sono 10 domande e nel quartiere B ce ne sono 100 è molto facile che nel quartiere B ci sia un rischio di frodi maggiori. Il tutto poi va letto in chiave trasversale socio-razziale.

Questo pregiudizio è stato rilevato per la prima volta negli algoritmi utilizzati nei sistemi di predizione e determinazione dei premi assicurativi sanitari negli Stati Uniti, ma alle verifiche appare riproposto nelle medesime dinamiche e ponderazioni a macchia di leopardo in numerosi sistemi adottati dalle PA.

Il che lascia intendere la grande difficoltà di comprendere l’errore e di riprogrammare il set di pesi e ponderazioni con nuovi modelli predittivi non discriminatori.

Il vulnus è quindi nell’adottare a criticamente e senza verifica “prodotti preimpostati” invece di discutere e pensare ai pesi specifici.