AI nello studio del medico: ecco dove fa più fatica

Ci siamo abituati. Quando si studia un nuovo principio attivo, il percorso passa necessariamente attraverso una serie di tappe che, dopo la ricerca di base e le prime osservazioni sulla sicurezza, vanno a valutarne l’efficacia, nell’ambito di studi clinici. Ed è già accaduto che i risultati dei trial portino ad esiti che non sono poi confermati quando la terapia viene adottata per un amplissimo numero di persone. Insomma, non sempre quanto emerge dalle sperimentazioni, anche se eseguite con tutti i crismi scientifici, è poi confermato nella vita reale.

Ma se per farmaci e principi attivi la risposta sui grandi numeri rappresenta un passaggio chiave nella gestione dello sviluppo di una terapia, ora pare proprio che un percorso simile, con un diverso impatto tra sperimentazioni cliniche e “Real Life”, potrebbe esistere anche per l’AI. O meglio è questa la domanda cui tenta di rispondere un’originale ricerca condotta da esperti delle Università di Harvard e Stanford, pubblicata su Nature Medicine.

L’esito che emerge non è completamente tranquillizzante per l’assistente artificiale. Se è vero che l’AI potrebbe offrire prestazioni davvero superiori nei test medici standardizzati, potrebbe invece perdere qualche colpo quando ci trova ad interagire nel mondo reale. Perché variabili inattese possono mettere in difficoltà i sistemi di Intelligenza Artificiale. 

Per questa valutazione nella “Real Life” gli esperti hanno sviluppato un percorso di misurazione, un vero e proprio test. Si chiama CRAFT-MD (Conversational Reasoning Assessment Framework for Testing in Medicine). L’analisi ha preso in esame quattro modelli di grandi dimensioni per vedere quanto l’AI riusciva ad adattarsi in ambiti che ripetevano le condizioni di ogni giorno in ambulatorio, nel rapporto medico-paziente.

Risultato? Sulle tecnicalità, con domande in linguaggio medico e percorsi di anamnesi ben definiti, l’intelligenza artificiale è stata pressoché inappuntabile. La situazione è però cambiata quando si sono valutate le interazioni con i pazienti in carne ed ossa, con le loro specificità sociali, culturali, economiche e sanitarie.

In questo ambito reale l’AI ha iniziato a perdere qualche colpo. Insomma i sistemi di Intelligenza Artificiale hanno mostrato diverse lacune se coinvolti in conversazioni che imitavano più da vicino le interazioni del mondo reale. Contromisure? Sostanzialmente è importante agire e considerare questa situazione. Soprattutto, bisogna tenere presente che, anche in caso di informazioni corrette e altrettanto correttamente miscelate ben oltre i limiti del pensiero umano, occorre sempre “misurare” quanto avviene. Gli esperti lo segnalano.

Prima di cadere nella trappola di lasciarsi andare ad impieghi entusiastici di questa grande opportunità di sviluppo, bisogna avere la possibilità di disporre di valutazioni più realistiche, che monitorino meglio l’idoneità dei modelli di intelligenza artificiale clinica per l’uso nel mondo reale. Non solo.  Occorre anche migliorare la capacità di questi strumenti di effettuare diagnosi basate su interazioni più realistiche prima dell’arrivo nella routine clinica. 

Conclusione? Anche per i sistemi di AI ci vogliono criteri di valutazione e monitoraggio. Come avviene per i farmaci. Ben oltre i risultati dei trial. Strumenti di valutazione come CRAFT-MD, secondo gli studiosi, possono valutare i modelli di intelligenza artificiale in modo più accurato per l’idoneità nel mondo reale e forse anche migliorarne le prestazioni nella Real Life.

“Il nostro lavoro rivela un sorprendente paradosso: mentre questi modelli di intelligenza artificiale eccellono negli esami di abilitazione medica, hanno difficoltà con il semplice avanti e indietro di una visita medica”, segnala in una nota per la stampa l’autore senior dello studio Pranav Rajpurkar, docente di informatica biomedica presso l’Università di Harvard.

Insomma, anche l’AI si scopre debole di fronte alla variabilità del rapporto medico-paziente. Perché nelle conversazioni è difficile trovare un traccia e la natura dinamica delle parole tra malato e curante impone caso per caso la necessità di porre le domande giuste al momento giusto. Si passa attraverso informazioni sparse e ragionamenti sempre variabili, superando la meccanica delle classiche domande a risposta multipla su cui l’AI appare imbattibile. “Quando passiamo dai test standardizzati a queste conversazioni naturali, persino i modelli di intelligenza artificiale più sofisticati mostrano cali significativi nell’accuratezza diagnostica”,  conclude l’esperto. Teniamolo presente.