Nel 2018, ha avuto luogo una sfida storica nell’intelligenza artificiale (AI), ovvero l’Explainable Machine Learning Challenge. L’obiettivo della competizione era quello di creare un complicato modello a scatola nera per il set di dati e spiegare come funzionava. Una squadra non ha seguito le regole. Invece di inviare una scatola nera, hanno creato un modello che era completamente interpretabile. Questo porta alla domanda se il mondo reale dell’apprendimento automatico è simile alla Explainable Machine Learning Challenge, dove i modelli a scatola nera sono usati anche quando non sono necessari. Discutiamo i processi di pensiero di questa squadra durante la competizione e le loro implicazioni, che vanno ben oltre la competizione stessa.
Parole chiave: interpretabilità, spiegabilità, apprendimento automatico, finanza
Nel dicembre 2018, centinaia di scienziati informatici, ingegneri finanziari e dirigenti di alto livello si sono stipati in una stanza all’interno del Montreal Convention Center alla conferenza annuale Neural Information Processing Systems (NeurIPS) per ascoltare i risultati dell’Explainable Machine Learning Challenge, una prestigiosa competizione organizzata in collaborazione tra Google, la Fair Isaac Corporation (FICO) e gli accademici di Berkeley, Oxford, Imperial, UC Irvine e MIT. Questa è stata la prima competizione di scienza dei dati che rifletteva la necessità di dare un senso ai risultati calcolati dai modelli a scatola nera che dominano il processo decisionale basato sull’apprendimento automatico.
Negli ultimi anni, i progressi nell’apprendimento profondo per la visione artificiale hanno portato alla convinzione diffusa che i modelli più accurati per qualsiasi problema di scienza dei dati debbano essere intrinsecamente ininterpretabili e complicati. Questa convinzione deriva dall’uso storico del machine learning nella società: le sue tecniche moderne sono nate e cresciute per decisioni a bassa posta in gioco come la pubblicità online e la ricerca sul web, dove le decisioni individuali non influenzano profondamente le vite umane.
Nel machine learning, questi modelli a scatola nera sono creati direttamente dai dati da un algoritmo, il che significa che gli umani, anche quelli che li progettano, non possono capire come le variabili vengono combinate per fare previsioni. Anche se si ha una lista delle variabili di input, i modelli predittivi a scatola nera possono essere funzioni così complicate delle variabili che nessun umano può capire come le variabili sono collegate tra loro per raggiungere una previsione finale.
I modelli interpretabili, che forniscono un’alternativa tecnicamente equivalente, ma forse più etica ai modelli a scatola nera, sono diversi – sono costretti a fornire una migliore comprensione di come vengono fatte le previsioni. In alcuni casi, può essere reso molto chiaro come le variabili sono collegate congiuntamente per formare la previsione finale, dove forse solo poche variabili sono combinate in una breve dichiarazione logica, o usando un modello lineare, dove le variabili sono pesate e sommate insieme. A volte i modelli interpretabili sono composti da modelli più semplici messi insieme (scomponibili), o altri vincoli sono messi sul modello per aggiungere un nuovo livello di comprensione. La maggior parte dei modelli di apprendimento automatico, tuttavia, non sono progettati con vincoli di interpretabilità; sono solo progettati per essere predittori accurati su un set di dati statici che possono o non possono rappresentare come il modello verrebbe usato in pratica.
La convinzione che l’accuratezza debba essere sacrificata per l’interpretabilità è imprecisa. Ha permesso alle aziende di commercializzare e vendere modelli proprietari o complicate scatole nere per decisioni di grande importanza quando esistono modelli molto semplici e interpretabili per gli stessi compiti. Come tale, permette ai creatori di modelli di trarre profitto senza considerare le conseguenze dannose per gli individui interessati. Pochi mettono in discussione questi modelli perché i loro progettisti sostengono che i modelli devono essere complicati per essere accurati. L’Explainable Machine Learning Challenge del 2018 serve come caso di studio per considerare i compromessi del favorire i modelli a scatola nera rispetto a quelli interpretabili.
Prima dell’annuncio dei vincitori della sfida, al pubblico – composto da giocatori di potere nei regni della finanza, della robotica e dell’apprendimento automatico – è stato chiesto di impegnarsi in un esperimento mentale in cui avevano il cancro e avevano bisogno di un intervento chirurgico per rimuovere un tumore. Due immagini sono state visualizzate sullo schermo. Un’immagine rappresentava un chirurgo umano, che poteva spiegare qualsiasi cosa sull’intervento, ma aveva il 15% di possibilità di causare la morte durante l’operazione. L’altra immagine mostrava un braccio robotico che poteva eseguire l’intervento con solo il 2% di possibilità di fallimento. Il robot doveva simulare un approccio a scatola nera all’intelligenza artificiale (AI). In questo scenario, la fiducia totale nel robot era richiesta; nessuna domanda poteva essere fatta al robot, e nessuna comprensione specifica di come arrivava alle sue decisioni sarebbe stata fornita. Al pubblico è stato poi chiesto di alzare una mano per votare quale dei due avrebbe preferito per eseguire un intervento chirurgico salvavita. Tutti tranne una mano hanno votato per il robot.
Mentre può sembrare ovvio che una probabilità di mortalità del 2% sia meglio di una probabilità di mortalità del 15%, inquadrare la posta in gioco dei sistemi AI in questo modo oscura una considerazione più fondamentale e interessante: Perché il robot deve essere una scatola nera? Il robot perderebbe la sua capacità di eseguire interventi accurati se fosse abilitato a spiegarsi? Avere una migliore comunicazione tra il robot e il paziente, o un medico, non migliorerebbe la cura del paziente piuttosto che diminuirla? Il paziente non dovrebbe essere in grado di spiegare al robot che ha un disturbo della coagulazione del sangue prima dell’intervento?
Questa possibilità, che il robot non ha bisogno di essere una scatola nera, non è stata presentata come un’opzione, e al pubblico del workshop è stata data solo la scelta tra la scatola nera precisa e la scatola di vetro imprecisa. Al pubblico non è stato detto come è stata misurata l’accuratezza dei risultati chirurgici (su quale popolazione sono stati misurati il 2% e il 15%?) né sono stati informati dei potenziali difetti nel set di dati che è stato utilizzato per addestrare il robot. Partendo dal presupposto che l’accuratezza deve venire a costo dell’interpretabilità (la capacità di capire perché il chirurgo fa quello che fa), questo esperimento mentale non ha considerato che l’interpretabilità potrebbe non danneggiare l’accuratezza. L’interpretabilità potrebbe addirittura migliorare l’accuratezza, in quanto permette di capire quando il modello, in questo caso un chirurgo robotico, potrebbe essere sbagliato.
Essere chiamati a scegliere una macchina accurata o un umano comprensibile è una falsa dicotomia. Comprenderla come tale ci aiuta a diagnosticare i problemi che sono derivati dall’uso di modelli a scatola nera per decisioni ad alta posta in tutta la società. Questi problemi esistono nella finanza, ma anche nella sanità, nella giustizia penale, e oltre.
Facciamo alcune prove che questo presupposto (che dobbiamo sempre sacrificare un po’ di interpretabilità per ottenere il modello più accurato) è sbagliato. Nel sistema di giustizia penale, è stato ripetutamente dimostrato (Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016) che complicati modelli a scatola nera per prevedere l’arresto futuro non sono più accurati di modelli predittivi molto semplici basati su età e storia criminale. Per esempio, un modello di apprendimento automatico interpretabile per la previsione di arresti successivi creato nel lavoro di Angelino et al. (2018), considera solo alcune regole sull’età e la storia criminale di qualcuno. Il modello completo di apprendimento automatico è il seguente: se la persona ha >3 crimini precedenti, o ha 18-20 anni ed è maschio, o ha 21-23 anni e ha due o tre crimini precedenti, si prevede che venga riarrestata entro due anni dalla sua valutazione, altrimenti no. Mentre non stiamo necessariamente sostenendo l’uso di questo particolare modello in contesti di giustizia penale, questo insieme di regole è accurato quanto il modello di scatola nera ampiamente utilizzato (e proprietario) chiamato COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), come usato nella contea di Broward, in Florida (Angelino et al., 2018).
Il modello semplice di cui sopra è anche accurato quanto molti altri metodi di apprendimento automatico all’avanguardia (Angelino et al., 2018). Risultati simili sono stati trovati tra i metodi di apprendimento automatico applicati a molti diversi tipi di problemi di previsione del riarresto su altri set di dati: i modelli interpretabili (che erano modelli lineari molto piccoli o modelli logici in questi studi) hanno eseguito altrettanto bene dei modelli di apprendimento automatico più complicati (scatola nera) (Zeng et al., 2016). Non sembrano esserci prove di un beneficio dall’uso di modelli a scatola nera per la previsione del rischio criminale. In effetti, ci possono essere degli svantaggi in quanto queste scatole nere sono più difficili da risolvere, fidarsi e utilizzare.
Non sembra esserci anche un beneficio nell’accuratezza dei modelli a scatola nera in diversi domini sanitari e in molte altre applicazioni di apprendimento automatico ad alta posta in gioco in cui vengono prese decisioni che cambiano la vita (ad es, Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018, che mostrano tutti modelli con vincoli di interpretabilità che eseguono altrettanto bene dei modelli non vincolati). Al contrario, i modelli a scatola nera possono mascherare una miriade di possibili gravi errori (ad esempio, vedi Rudin, 2019). Anche nella visione artificiale, dove le reti neurali profonde (il tipo più difficile di modello a scatola nera da spiegare) sono lo stato dell’arte, noi e altri scienziati (ad esempio, Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019) abbiamo trovato modi per aggiungere vincoli di interpretabilità ai modelli di apprendimento profondo, portando a calcoli più trasparenti. Questi vincoli di interpretabilità non sono venuti a scapito della precisione, anche per le reti neurali profonde per la visione artificiale.
Fidarsi di un modello a scatola nera significa fidarsi non solo delle equazioni del modello, ma anche dell’intero database da cui è stato costruito. Per esempio, nello scenario del robot e del chirurgo, senza sapere come sono stati stimati il 2% e il 15%, dovremmo mettere in dubbio la rilevanza di questi numeri per qualsiasi particolare sottopopolazione di pazienti medici. Ogni serie di dati ragionevolmente complessa che abbiamo visto contiene imperfezioni. Queste possono variare da enormi quantità di dati mancanti (che non sono mancanti a caso), o confondimenti non misurati, a errori sistematici nel dataset (ad es, una codifica errata dei trattamenti farmacologici), a problemi di raccolta dei dati che fanno sì che la distribuzione dei dati sia diversa da quella che si pensava inizialmente.
Un problema comune con i modelli a scatola nera in ambito medico è la fuga di dati, dove alcune informazioni sull’etichetta y si insinuano nelle variabili x in un modo che non si potrebbe sospettare guardando i titoli e le descrizioni delle variabili: a volte si pensa di prevedere qualcosa nel futuro ma si sta solo rilevando qualcosa che è accaduto in passato. Nel prevedere i risultati medici, la macchina potrebbe raccogliere informazioni all’interno delle note dei medici che rivelano il risultato dei pazienti prima che sia ufficialmente registrato e quindi erroneamente rivendicare queste come previsioni di successo.
Nel tentativo di fare i conti con la preoccupazione diffusa circa l’opacità dei modelli a scatola nera, alcuni scienziati hanno cercato di offrire spiegazioni di essi, ipotesi sul perché raggiungono le decisioni che prendono. Tali spiegazioni di solito cercano o di imitare le previsioni della scatola nera usando un modello completamente diverso (forse con diverse variabili importanti, mascherando ciò che la scatola nera potrebbe effettivamente fare), o forniscono un’altra statistica che fornisce informazioni incomplete sul calcolo della scatola nera. Tali spiegazioni sono superficiali, o addirittura vuote, poiché estendono l’autorità della scatola nera piuttosto che riconoscere che non è necessaria. E a volte, queste spiegazioni sono sbagliate.
Per esempio, quando i giornalisti di ProPublica hanno cercato di spiegare cosa c’era nel modello proprietario COMPAS per la previsione della recidiva (Angwin et al., 2016), sembra che abbiano erroneamente assunto che se si poteva creare un modello lineare che approssimava COMPAS e dipendeva da razza, età e storia criminale, che COMPAS stesso doveva dipendere dalla razza. Tuttavia, quando si approssima COMPAS usando un modello non lineare, la dipendenza esplicita dalla razza svanisce (Rudin, Wang, & Coker, 2019), lasciando la dipendenza dalla razza solo attraverso l’età e la storia criminale. Questo è un esempio di come una spiegazione errata di una scatola nera possa andare fuori controllo. Forse se il sistema giudiziario avesse usato solo modelli interpretabili (che noi e altri abbiamo dimostrato essere altrettanto accurati), i giornalisti di ProPublica avrebbero potuto scrivere una storia diversa. Forse, per esempio, avrebbero potuto scrivere di come gli errori tipografici in questi punteggi si verificano frequentemente, senza alcun modo ovvio per risolverli, portando a decisioni incoerenti che alterano la vita nel sistema giudiziario (vedi, ad esempio, Rudin et al., 2019).
Ma di nuovo alla conferenza NeurIPS del 2018, nella stanza piena di esperti che avevano appena scelto il robot rispetto al chirurgo, l’annunciatore procedette a descrivere la concorrenza. La FICO aveva fornito un set di dati di una linea di credito di equità domestica (HELOC), che contiene i dati di migliaia di individui anonimi, compresi gli aspetti della loro storia di credito e se l’individuo è stato inadempiente o meno sul prestito. L’obiettivo del concorso era quello di creare un modello di scatola nera per prevedere l’inadempienza del prestito, e poi spiegare la scatola nera.
Si potrebbe supporre che per un concorso che richiede ai concorrenti di creare una scatola nera e spiegarla, il problema avrebbe effettivamente bisogno di una scatola nera. Ma non è stato così. Già nel luglio del 2018, quando il team Duke ha ricevuto i dati, dopo averci giocato solo per una settimana circa, ci siamo resi conto che potevamo analizzare efficacemente i dati FICO senza una scatola nera. Non importa se abbiamo usato una rete neurale profonda o tecniche statistiche classiche per modelli lineari, abbiamo scoperto che c’era meno dell’1% di differenza di precisione tra i metodi, che rientra nel margine di errore causato dal campionamento casuale dei dati. Anche quando abbiamo usato tecniche di apprendimento automatico che fornivano modelli molto interpretabili, siamo stati in grado di ottenere un’accuratezza pari a quella del miglior modello di scatola nera. A quel punto, eravamo perplessi su cosa fare. Dovevamo giocare secondo le regole e fornire una scatola nera ai giudici e cercare di spiegarla? O dovevamo fornire il modello trasparente e interpretabile? In altre parole, cosa fare quando si scopre di essere stati costretti nella falsa dicotomia del robot e del chirurgo?
Il nostro team ha deciso che per un problema così importante come il credit scoring, non avremmo fornito una scatola nera ai giudici al solo scopo di spiegarla. Invece, abbiamo creato un modello interpretabile che pensavamo che anche un cliente bancario con poco background matematico sarebbe stato in grado di capire. Il modello era scomponibile in diversi mini-modelli, dove ognuno poteva essere compreso da solo. Abbiamo anche creato un ulteriore strumento interattivo di visualizzazione online per i prestatori e gli individui. Giocare con i fattori della storia di credito sul nostro sito web avrebbe permesso alle persone di capire quali fattori erano importanti per le decisioni di richiesta di prestito. Nessuna scatola nera. Sapevamo che probabilmente non avremmo vinto il concorso in questo modo, ma c’era un punto più grande che avevamo bisogno di fare.
Si potrebbe pensare che ci sono un sacco di applicazioni in cui i modelli interpretabili non possono essere accurati come quelli a scatola nera. Dopo tutto, se si può costruire un modello interpretabile accurato, perché si dovrebbe usare una scatola nera? Tuttavia, come ha rivelato l’Explainable Machine Learning Challenge, ci sono in realtà molte applicazioni in cui le persone non cercano di costruire un modello interpretabile, perché potrebbero credere che per un complesso set di dati, un modello interpretabile non potrebbe essere accurato come una scatola nera. O forse vogliono preservare il modello come proprietario. Si potrebbe quindi considerare che se i modelli di deep-learning interpretabili possono essere costruiti per la visione artificiale e l’analisi delle serie temporali (ad esempio, Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al, 2019), allora lo standard dovrebbe essere cambiato dal presupposto che i modelli interpretabili non esistano, al presupposto che esistano, fino a prova contraria.
Inoltre, quando gli scienziati capiscono cosa stanno facendo quando costruiscono modelli, possono produrre sistemi AI che sono meglio in grado di servire gli umani che si affidano a loro. In questi casi, il cosiddetto tradeoff accuratezza-interpretabilità si rivela una fallacia: modelli più interpretabili spesso diventano più (e non meno) accurati.
La falsa dicotomia tra la scatola nera accurata e il modello trasparente non così accurato è andata troppo oltre. Quando centinaia di importanti scienziati e dirigenti di società finanziarie sono fuorviati da questa dicotomia, immaginate come potrebbe essere ingannato anche il resto del mondo. Le implicazioni sono profonde: riguarda il funzionamento del nostro sistema di giustizia penale, i nostri sistemi finanziari, i nostri sistemi sanitari e molte altre aree. Insistiamo sul fatto che non usiamo modelli di apprendimento automatico a scatola nera per decisioni di grande importanza, a meno che non sia possibile costruire un modello interpretabile che raggiunga lo stesso livello di accuratezza. È possibile che un modello interpretabile possa sempre essere costruito – semplicemente non ci abbiamo provato. Forse se lo facessimo, non useremmo mai le scatole nere per queste decisioni ad alta posta.
Note
-
Il sito Explainable Machine Learning Challenge è qui: https://community.fico.com/s/explainable-machine-learning-challenge
-
Questo articolo si basa sull’esperienza di Rudin che compete nella Explainable Machine Learning Challenge del 2018.
-
I lettori possono giocare con la nostra voce interattiva della competizione per la sfida qui: http://dukedatasciencefico.cs.duke.edu
-
Il nostro lavoro non ha vinto il concorso come giudicato dagli organizzatori del concorso. Ai giudici non è stato permesso di interagire con il nostro modello e il suo strumento di visualizzazione; è stato deciso dopo la scadenza della presentazione che nessuna visualizzazione interattiva sarebbe stata fornita ai giudici. Tuttavia, FICO ha eseguito la propria valutazione separata delle voci del concorso, e la nostra voce ha ottenuto un buon punteggio nella loro valutazione, guadagnando il FICO Recognition Award per il concorso. Ecco l’annuncio di FICO sui vincitori:
https://www.fico.com/en/newsroom/fico-announces-winners-of-inaugural-xml-challenge?utm_source=FICO-Community&utm_medium=xml-challenge-page
-
Per quanto ne sanno gli autori, siamo stati l’unica squadra a fornire un modello interpretabile piuttosto che una scatola nera.
Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M., & Rudin, C. (2018). Apprendimento di liste di regole certifiabilmente ottimali per dati categorici. Journal of Machine Learning Research, 18(234), 1-78.
Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., & Elhadad, N. (2015). Modelli intelligibili per l’assistenza sanitaria: Predire il rischio di polmonite e la riammissione a 30 giorni in ospedale. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM, Sydney, NSW, Australia, 721-1730.
Chen, C., Li, O., Barnett, A., Su, J., & Rudin, C. (2019). Questo sembra così: Deep learning per il riconoscimento delle immagini interpretabili. Vancouver, Canada, Advances in Neural Information Processing Systems.
Li, O., Liu, H., Chen, C., & Rudin, C. (2018). Apprendimento profondo per il ragionamento basato sui casi attraverso i prototipi: Una rete neurale che spiega le sue previsioni. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), New Orleans, Louisiana, 3530-3587.
Li, Y., Murias, M., Major, S., Dawson, G., Dzirasa, K., Carin, L., & Carlson, D. E. (2017). Targeting EEG/LFP sincronia con reti neurali. Advances in Neural Information Processing Systems, Montreal, Canada, 4620-4630.
Ming, Y., Xu, P., Qu, H., & Ren, L. (2019). Apprendimento di sequenze interpretabili e orientabili tramite prototipi. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, Alaska, 903-913.
Razavian, N., Blecker, S., Schmidt, A. M., Smith-McLallen, A., Nigam, S., & Sontag, D. (2015). Previsione a livello di popolazione del diabete di tipo 2 dai dati dei sinistri e analisi dei fattori di rischio. Big Data, 3, 277-287.
Angwin, J. e Larson, J. e Mattu, S. e Kirchner, L. Machine Bias. ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, accessed 2016-5-23.
Rudin, C. (2019). Smetti di spiegare i modelli di apprendimento automatico a scatola nera per le decisioni ad alta posta in gioco e usa invece modelli interpretabili. Nature Machine Intelligence, 1, 206-215.
Rudin, C., & Ustun, B. (2018). Sistemi di punteggio ottimizzati: Verso la fiducia nell’apprendimento automatico per l’assistenza sanitaria e la giustizia penale. Interfacce, 48, 449-466.
Rudin, C., Wang, C., & Coker, B. (2019). L’età della segretezza e dell’ingiustizia nella previsione della recidiva. Harvard Data Science Review (in press).
Tollenaar, N., & van der Heijden, P. G. M. (2013). Quale metodo predice meglio la recidiva? Un confronto tra modelli predittivi statistici, di apprendimento automatico e di data mining. Journal of the Royal Statistical Society, Series A: Statistics in Society, 176, 565-584.
Zeng, J., Ustun, B., & Rudin, C. (2016). Modelli di classificazione interpretabili per la previsione della recidiva. Journal of the Royal Statistical Society, Series A: Statistics in Society, 180, 689-722.
Questo articolo è © 2019 di Cynthia Rudin e Joanna Radin. L’articolo è rilasciato sotto licenza Creative Commons Attribution (CC BY 4.0) International (https://creativecommons.org/licenses/by/4.0/legalcode), tranne dove diversamente indicato rispetto a particolari materiali inclusi nell’articolo. L’articolo dovrebbe essere attribuito agli autori identificati sopra.