Vuonna 2018 järjestettiin tekoälyn (AI) merkittävä haaste, nimittäin Explainable Machine Learning Challenge. Kilpailun tavoitteena oli luoda monimutkainen mustan laatikon malli tietokokonaisuuteen ja selittää, miten se toimii. Yksi tiimi ei noudattanut sääntöjä. Sen sijaan, että he olisivat lähettäneet mustan laatikon, he loivat mallin, joka oli täysin tulkittavissa. Tämä johtaa kysymykseen, onko koneoppimisen todellinen maailma samanlainen kuin Explainable Machine Learning Challenge -kilpailussa, jossa käytetään mustan laatikon malleja silloinkin, kun niitä ei tarvita. Keskustelemme tämän tiimin ajatusprosesseista kilpailun aikana ja niiden vaikutuksista, jotka ulottuvat paljon itse kilpailua pidemmälle.
Avainsanat: tulkittavuus, selitettävyys, koneoppiminen, rahoitus
Joulukuussa 2018 sadat huipputietotutkijat, rahoitusinsinöörit ja johtajat ahtautuivat Montrealin kongressikeskuksen sisällä olevaan huoneeseen vuotuisessa NeurIPS-konferenssissa (Neural Information Processing Systems) kuullakseen Explainable Machine Learning Challenge -kilpailun tulokset. Kyseessä on Googlen, Fair Isaac Corporationin (FICO) sekä Berkeleyn, Oxfordin, Imperialin, UC Irvinen ja MIT:n akateemisten oppilaitosten yhteistyössä järjestämä arvostettu kilpailu. Kyseessä oli ensimmäinen tietojenkäsittelytieteen kilpailu, joka heijasti tarvetta saada järkeä tuloksiin, jotka lasketaan koneoppimiseen perustuvaa päätöksentekoa hallitsevilla mustan laatikon malleilla.
Viime vuosina tietokonenäön syväoppimisen edistysaskeleet ovat johtaneet laajalle levinneeseen uskomukseen, jonka mukaan minkä tahansa tietojenkäsittelytieteen ongelman tarkimpien mallien on oltava luonnostaan tulkinnanvaraisia ja monimutkaisia. Tämä uskomus juontaa juurensa koneoppimisen historiallisesta käytöstä yhteiskunnassa: sen nykyaikaiset tekniikat ovat syntyneet ja jalostuneet matalan panoksen päätöksiin, kuten verkkomainontaan ja verkkohakuun, joissa yksittäiset päätökset eivät vaikuta syvällisesti ihmisten elämään.
Koneoppimisessa nämä mustan laatikon mallit luodaan algoritmin avulla suoraan datasta, mikä tarkoittaa sitä, että ihmiset, edes ne, jotka suunnittelevat ne, eivät voi ymmärtää, miten muuttujia yhdistellään ennusteiden tekemiseksi. Vaikka ihmisellä olisi lista syötemuuttujista, mustan laatikon ennustemallit voivat olla niin monimutkaisia muuttujien funktioita, että kukaan ihminen ei voi ymmärtää, miten muuttujat liittyvät yhdessä toisiinsa lopullisen ennusteen aikaansaamiseksi.
Tulkinnanvaraiset mallit, jotka tarjoavat teknisesti vastaavan, mutta mahdollisesti eettisemmän vaihtoehdon mustan laatikon malleille, ovat erilaiset – ne on rajattu siten, että niiden avulla voidaan paremmin ymmärtää, miten ennusteita tehdään. Joissakin tapauksissa voidaan tehdä hyvin selväksi, miten muuttujat liittyvät yhdessä toisiinsa lopullisen ennusteen muodostamiseksi, jolloin ehkä vain muutama muuttuja yhdistetään lyhyessä loogisessa lausumassa, tai käyttämällä lineaarista mallia, jossa muuttujat painotetaan ja lasketaan yhteen. Joskus tulkittavissa olevat mallit koostuvat yksinkertaisemmista malleista, jotka on koottu yhteen (hajotettavissa), tai malliin asetetaan muita rajoitteita, jotka lisäävät uutta ymmärrystä. Useimpia koneoppimismalleja ei kuitenkaan suunnitella tulkittavuusrajoitusten mukaan, vaan ne suunnitellaan vain tarkoiksi ennustajiksi staattiseen tietokokonaisuuteen, joka voi edustaa tai ei edusta sitä, miten mallia käytettäisiin käytännössä.
Ajatus siitä, että tarkkuus on uhrattava tulkittavuuden vuoksi, on epätarkka. Se on mahdollistanut sen, että yritykset ovat voineet markkinoida ja myydä patentoituja tai monimutkaisia mustan laatikon malleja korkean panoksen päätöksiä varten, vaikka samoihin tehtäviin on olemassa hyvin yksinkertaisia tulkittavia malleja. Näin ollen se antaa mallin luojille mahdollisuuden hyötyä ottamatta huomioon haitallisia seurauksia yksilöille, joihin malli vaikuttaa. Harva kyseenalaistaa näitä malleja, koska niiden suunnittelijat väittävät, että mallien on oltava monimutkaisia ollakseen tarkkoja. Vuoden 2018 Explainable Machine Learning Challenge -kilpailu toimii tapaustutkimuksena, jossa pohditaan, mitä haittoja aiheutuu siitä, että mustan laatikon malleja suositaan tulkittavissa olevien mallien sijasta.
Ennen kuin haasteen voittajat julkistettiin, yleisöä – joka koostui rahoituksen, robotiikan ja koneoppimisen vaikuttajista – pyydettiin osallistumaan ajatuskokeiluun, jossa heillä oli syöpä ja he tarvitsivat leikkauksen kasvaimen poistamiseksi. Ruudulla näytettiin kaksi kuvaa. Toisessa kuvassa oli ihmiskirurgi, joka pystyi selittämään mitä tahansa leikkauksesta, mutta jolla oli 15 prosentin mahdollisuus aiheuttaa kuolema leikkauksen aikana. Toisessa kuvassa oli robottikäsi, joka pystyi suorittamaan leikkauksen vain kahden prosentin todennäköisyydellä. Robotin oli tarkoitus simuloida mustan laatikon lähestymistapaa tekoälyyn (AI). Tässä skenaariossa vaadittiin täydellistä luottamusta robottia kohtaan; robotilta ei voitu kysyä mitään, eikä sen päätöksentekotapoja ollut tarkoitus ymmärtää. Yleisöä pyydettiin sitten nostamaan käsi ylös ja äänestämään, kumman he valitsisivat mieluummin suorittavan hengenpelastavan leikkauksen. Yhtä kättä lukuun ottamatta kaikki äänestivät robotin puolesta.
Vaikkakin voi tuntua ilmeiseltä, että kahden prosentin kuoleman mahdollisuus on parempi kuin 15 prosentin kuoleman mahdollisuus, tekoälyjärjestelmien panosten asettaminen tällä tavalla peittää alleen perustavanlaatuisemman ja mielenkiintoisemman näkökohdan: Miksi robotin on oltava musta laatikko? Menettäisikö robotti kykynsä suorittaa tarkkoja leikkauksia, jos sillä olisi kyky selittää itseään? Eikö parempi kommunikaatio robotin ja potilaan tai lääkärin välillä pikemminkin parantaisi potilaan hoitoa kuin heikentäisi sitä? Eikö potilaan tarvitsisi pystyä selittämään robotille, että hänellä on veren hyytymishäiriö ennen leikkausta?
Tätä mahdollisuutta, että robotin ei tarvitsisi olla musta laatikko, ei esitetty vaihtoehtona, ja työpajan yleisölle annettiin vain mahdollisuus valita tarkan mustan laatikon ja epätarkan lasilaatikon välillä. Yleisölle ei kerrottu, miten tarkkuutta mitattiin leikkaustulosten osalta (mistä väestöstä mitattiin 2 % ja 15 %?), eikä heille kerrottu robotin kouluttamiseen käytetyn tietokokonaisuuden mahdollisista puutteista. Koska oletettiin, että tarkkuuden on tultava tulkittavuuden kustannuksella (kyky ymmärtää, miksi kirurgi tekee sen, mitä hän tekee), tässä mielikuvituskokeessa ei otettu huomioon, että tulkittavuus ei välttämättä haittaa tarkkuutta. Tulkittavuus saattaa jopa parantaa tarkkuutta, koska sen avulla voidaan ymmärtää, milloin malli, tässä tapauksessa robottikirurgi, saattaa olla väärässä.
Pyyntö valita tarkka kone tai ymmärrettävä ihminen on väärä kahtiajako. Sen ymmärtäminen tällaisena auttaa meitä diagnosoimaan ongelmia, jotka ovat johtuneet mustan laatikon mallien käytöstä korkean panoksen päätöksiin kaikkialla yhteiskunnassa. Näitä ongelmia on rahoitusalalla, mutta myös terveydenhuollossa, rikosoikeudessa ja muualla.
Anna joitakin todisteita siitä, että tämä oletus (että meidän on aina uhrattava jonkin verran tulkittavuutta saadaksemme tarkimman mallin) on väärä. Rikosoikeusjärjestelmässä on toistuvasti osoitettu (Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, & 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, & 2016), että monimutkaiset mustan laatikon mallit, joilla ennustetaan tulevia pidätyksiä, eivät ole yhtään tarkempia kuin hyvin yksinkertaiset ikään ja rikoshistoriaan perustuvat ennustemallit. Esimerkiksi Angelino ym. (2018) työssä luotu tulkittava koneoppimismalli uusintapidätyksen ennustamiseksi ottaa huomioon vain muutaman säännön henkilön iästä ja rikoshistoriasta. Täydellinen koneoppimismalli on seuraava: jos henkilöllä on joko >3 aiempaa rikosta tai hän on 18-20-vuotias ja mies tai hän on 21-23-vuotias ja hänellä on kaksi tai kolme aiempaa rikosta, hänen ennustetaan joutuvan uudelleen pidätetyksi kahden vuoden kuluessa arvioinnista, muuten ei. Vaikka emme välttämättä suosittele tämän tietyn mallin käyttöä rikosoikeudellisissa ympäristöissä, tämä sääntökokonaisuus on yhtä tarkka kuin laajalti käytetty (ja suojattu) mustan laatikon malli nimeltä COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), jota käytetään Browardin piirikunnassa Floridassa (Angelino et al., 2018).
Yllä oleva yksinkertainen malli on myös yhtä tarkka kuin monet muutkin nykyaikaiset koneoppimismenetelmät (Angelino et al., 2018). Samanlaisia tuloksia havaittiin koneoppimismenetelmistä, joita sovellettiin moniin erityyppisiin takaisintulon ennustamisongelmiin muissa tietokokonaisuuksissa: tulkittavissa olevat mallit (jotka näissä tutkimuksissa olivat hyvin pieniä lineaarisia malleja tai loogisia malleja) suoriutuivat yhtä hyvin kuin monimutkaisemmat (mustan laatikon) koneoppimismallit (Zeng et al., 2016). Ei näytä olevan näyttöä siitä, että mustan laatikon mallien käytöstä olisi hyötyä rikosriskin ennustamisessa. Itse asiassa niistä saattaa olla haittaa siinä mielessä, että näitä mustia laatikoita on vaikeampi korjata, niihin on vaikeampi luottaa ja niitä on vaikeampi käyttää.
Ei myöskään näytä siltä, että mustien laatikoiden malleista olisi hyötyä tarkkuudessa useilla terveydenhuollon aloilla ja monissa muissa korkean panostuksen koneoppimissovelluksissa, joissa tehdään elämää muuttavia päätöksiä (esim, Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018, jotka kaikki osoittavat tulkittavuusrajoituksilla varustettujen mallien suoriutuvan yhtä hyvin kuin rajoituksettomien mallien). Päinvastoin, mustan laatikon mallit voivat peittää lukemattomia mahdollisia vakavia virheitä (ks. esim. Rudin, 2019). Jopa tietokonenäköalalla, jossa syvät neuroverkot (vaikeimmin selitettävissä oleva mustan laatikon malli) ovat huippuluokkaa, me ja muut tutkijat (esim. Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019) olemme löytäneet keinoja lisätä tulkittavuusrajoituksia syväoppimisen malleihin, mikä johtaa läpinäkyvämpiin laskentoihin. Nämä tulkittavuusrajoitukset eivät ole tulleet tarkkuuden kustannuksella, edes tietokonenäön syvät neuroverkot.
Luottamus mustaan laatikkomalliin tarkoittaa, että luotetaan paitsi mallin yhtälöihin, myös koko tietokantaan, josta se on rakennettu. Esimerkiksi robottia ja kirurgia koskevassa skenaariossa tietämättä, miten 2 % ja 15 % arvioitiin, meidän pitäisi kyseenalaistaa näiden lukujen merkityksellisyys minkään tietyn lääketieteellisten potilaiden osapopulaation osalta. Kaikissa kohtuullisen monimutkaisissa tietokokonaisuuksissa, joita olemme nähneet, on puutteita. Ne voivat vaihdella valtavista määristä puuttuvia tietoja (jotka eivät puutu satunnaisesti) tai mittaamattomista sekoittavista tekijöistä järjestelmällisiin virheisiin tietokokonaisuudessa (esim, lääkehoitojen virheellinen koodaus), tiedonkeruuseen liittyviin ongelmiin, jotka aiheuttavat sen, että tietojen jakauma on erilainen kuin alun perin ajattelimme.
Yksi tällaiseksi yleiseksi ongelmaksi lääketieteellisissä mustan laatikon malleissa on muodostunut tietovuoto, jossa jotakin tietoa merkinnästä y livahtaa muuttujiin x tavalla, jota ei ehkä epäilisi muuttujien otsikoita ja kuvauksia tarkastelemalla: joskus luulee ennustavansa jotakin tulevaa asiaa, mutta havaitseekin vain jotakin, mikä on tapahtunut menneisyydessä. Ennustettaessa lääketieteellisiä tuloksia kone saattaa poimia lääkärien muistiinpanoista tietoja, jotka paljastavat potilaan lopputuloksen ennen kuin se on virallisesti kirjattu, ja näin ollen virheellisesti väittää niitä onnistuneiksi ennusteiksi.
Yritettyään ottaa huomioon laajalle levinneen huolen mustan laatikon mallien läpinäkymättömyydestä eräät tiedemiehet ovat yrittäneet tarjota niille selityksiä, hypoteeseja siitä, miksi ne päätyvät sellaisiin päätöksiin kuin ne tekevät. Tällaiset selitykset pyrkivät yleensä joko jäljittelemään mustan laatikon ennusteita käyttämällä täysin erilaista mallia (ehkä eri tärkeillä muuttujilla, jotka peittävät alleen sen, mitä musta laatikko todellisuudessa saattaa tehdä), tai ne tarjoavat toisen tilaston, joka antaa epätäydellistä tietoa mustan laatikon laskelmista. Tällaiset selitykset ovat pinnallisia tai jopa onttoja, koska ne laajentavat mustan laatikon auktoriteettia sen sijaan, että ne tunnustaisivat, ettei sitä tarvita. Ja joskus nämä selitykset ovat vääriä.
Esimerkiksi kun ProPublican toimittajat yrittivät selittää, mitä oma COMPAS-malli uusintarikollisuuden ennustamiseen (Angwin et al., 2016) sisälsi, he näyttävät olettaneen virheellisesti, että jos voidaan luoda lineaarinen malli, joka lähentelee COMPASia ja joka riippuu rodusta, iästä ja rikoshistoriasta, että COMPASin itsensä täytyy riippua rodusta. Kun kuitenkin approksimoidaan COMPASia epälineaarisen mallin avulla, eksplisiittinen riippuvuus rodusta katoaa (Rudin, Wang, & Coker, 2019), jolloin riippuvuus rodusta jää vain iän ja rikoshistorian kautta. Tämä on esimerkki siitä, miten mustan laatikon virheellinen selitys voi karata käsistä. Ehkä jos oikeusjärjestelmä olisi käyttänyt vain tulkittavia malleja (joiden me ja muut olemme osoittaneet olevan yhtä tarkkoja), ProPublican toimittajat olisivat voineet kirjoittaa toisenlaisen tarinan. Ehkä he voisivat esimerkiksi kirjoittaa siitä, kuinka näissä pisteytyksissä esiintyy usein kirjoitusvirheitä, eikä ole ilmeistä tapaa korjata niitä, mikä johtaa epäjohdonmukaiseen, elämää mullistavaan päätöksentekoon oikeusjärjestelmässä (ks. esim. Rudin ym., 2019).
Mutta takaisin vuoden 2018 NeurIPS-konferenssissa, huoneessa, joka oli täynnä asiantuntijoita, jotka olivat juuri valinneet robotin kirurgin sijasta, kuuluttaja siirtyi kuvaamaan kilpailua. FICO oli tarjonnut kotitalousluoton (HELOC) tietokokonaisuuden, joka sisältää tietoja tuhansista anonyymeistä henkilöistä, mukaan lukien luottohistoriaan liittyviä näkökohtia ja sen, onko henkilö laiminlyönyt lainan maksun vai ei. Kilpailun tavoitteena oli luoda musta laatikko -malli lainan maksulaiminlyönnin ennustamiseksi ja sitten selittää musta laatikko.
Es voisi olettaa, että kilpailussa, jossa kilpailijoiden piti luoda musta laatikko ja selittää se, ongelmaan todella tarvittaisiin musta laatikko. Mutta näin ei ollut. Heinäkuussa 2018, kun Duke-tiimi sai tiedot, ja leikittyämme niillä vain noin viikon ajan tajusimme, että pystyimme analysoimaan FICO-tiedot tehokkaasti ilman mustaa laatikkoa. Riippumatta siitä, käytimmekö syvää neuroverkkoa vai lineaaristen mallien klassisia tilastollisia tekniikoita, havaitsimme, että menetelmien välillä oli alle 1 prosentin ero tarkkuudessa, mikä on datan satunnaisotannan aiheuttaman virhemarginaalin sisällä. Jopa silloin, kun käytimme koneoppimistekniikoita, jotka tuottivat hyvin tulkittavia malleja, pystyimme saavuttamaan tarkkuuden, joka vastasi parhaan mustan laatikon mallin tarkkuutta. Siinä vaiheessa olimme ymmällämme siitä, mitä tehdä. Pitäisikö meidän pelata sääntöjen mukaan ja tarjota tuomareille musta laatikko ja yrittää selittää se? Vai pitäisikö meidän tarjota läpinäkyvä, tulkittavissa oleva malli? Toisin sanoen, mitä teet, kun huomaat, että sinut on pakotettu robotin ja kirurgin väärään kahtiajakoon?
Tiimimme päätti, että luottopisteytyksen kaltaisen tärkeän ongelman kohdalla emme antaisi tuomaristolle mustaa laatikkoa pelkästään sen selittämistä varten. Sen sijaan loimme tulkittavissa olevan mallin, jonka ajattelimme, että jopa pankkiasiakas, jolla on vain vähän matemaattista taustaa, voisi ymmärtää. Malli oli purettavissa erilaisiin minimalleihin, joista jokainen oli ymmärrettävissä erikseen. Loimme lisäksi vuorovaikutteisen verkkovisualisointityökalun lainanantajille ja yksityishenkilöille. Verkkosivustollamme luottotietotekijöillä leikkimällä ihmiset voisivat ymmärtää, mitkä tekijät olivat tärkeitä lainahakemuspäätösten kannalta. Ei mitään mustaa laatikkoa. Tiesimme, ettemme luultavasti voittaisi kilpailua tällä tavalla, mutta meillä oli tärkeämpi pointti, joka meidän piti tuoda esiin.
Voidaan ajatella, että on paljon sovelluksia, joissa tulkittavissa olevat mallit eivät mitenkään voi olla yhtä tarkkoja kuin mustan laatikon mallit. Loppujen lopuksi, jos voisit rakentaa tarkan tulkittavissa olevan mallin, miksi sitten käyttäisit mustaa laatikkoa? Kuten Explainable Machine Learning Challenge paljasti, on kuitenkin itse asiassa paljon sovelluksia, joissa ihmiset eivät yritä rakentaa tulkittavaa mallia, koska he saattavat uskoa, että monimutkaiselle datajoukolle tulkittava malli ei mitenkään voisi olla yhtä tarkka kuin musta laatikko. Tai ehkä he haluavat säilyttää mallin omana tietonaan. Tällöin voidaan ajatella, että jos tulkittavia syväoppimismalleja voidaan rakentaa tietokonenäköön ja aikasarja-analyysiin (esim. Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al., 2019), niin silloin standardi pitäisi muuttaa oletuksesta, että tulkinnanvaraisia malleja ei ole olemassa, oletukseen, että niitä on olemassa, kunnes toisin todistetaan.
Seuraavasti, kun tutkijat ymmärtävät, mitä he tekevät rakentaessaan malleja, he voivat tuottaa tekoälyjärjestelmiä, jotka pystyvät paremmin palvelemaan niitä käyttäviä ihmisiä. Näissä tapauksissa niin sanottu tarkkuuden ja tulkittavuuden välinen kompromissi paljastuu harhaluuloksi: tulkinnanvaraisemmista malleista tulee usein tarkempia (eikä vähemmän) tarkkoja.
Vääränlainen kahtiajako tarkan mustan laatikon ja vähemmän tarkan läpinäkyvän mallin välillä on mennyt liian pitkälle. Kun satoja johtavia tiedemiehiä ja rahoitusyhtiöiden johtajia johdetaan harhaan tämän kahtiajaon avulla, kuvitelkaa, miten muukin maailma saattaa tulla huijatuksi. Vaikutukset ovat syvälliset: se vaikuttaa rikosoikeusjärjestelmämme, rahoitusjärjestelmämme, terveydenhuoltojärjestelmämme ja monien muiden alojen toimintaan. Vaaditaan, ettemme käytä mustan laatikon koneoppimismalleja tärkeiden päätösten tekemiseen, ellei ole mahdollista rakentaa tulkittavissa olevaa mallia, jolla saavutetaan sama tarkkuus. On mahdollista, että tulkittavissa oleva malli voidaan aina rakentaa – emme vain ole yrittäneet. Ehkä jos yrittäisimme, emme koskaan käyttäisi mustia laatikoita näihin korkean panoksen päätöksiin.
Huomautukset
-
Explainable Machine Learning Challenge -haastekilpailun verkkosivut ovat täällä: https://community.fico.com/s/explainable-machine-learning-challenge
-
Tämä artikkeli perustuu Rudinin kokemukseen vuoden 2018 Explainable Machine Learning Challenge -kilpailussa
-
Lukijat voivat leikkiä interaktiivisella kilpailuehdotuksellamme haasteeseen täällä: http://dukedatasciencefico.cs.duke.edu
-
Kilpailuehdotuksemme ei tosiaankaan voittanut kilpailua kilpailun järjestäjien arvion mukaan. Tuomarit eivät saaneet olla lainkaan vuorovaikutuksessa mallimme ja sen visualisointityökalun kanssa; jättöajan päätyttyä päätettiin, että tuomareille ei toimiteta interaktiivisia visualisointeja. FICO suoritti kuitenkin oman erillisen arviointinsa kilpailuehdotuksista, ja meidän ehdotuksemme sai heidän arvioinnissaan hyvät pisteet ja ansaitsi kilpailun FICO-tunnustuspalkinnon. Tässä FICO:n ilmoitus voittajista:
https://www.fico.com/en/newsroom/fico-announces-winners-of-inaugural-xml-challenge?utm_source=FICO-Community&utm_medium=xml-challenge-page
-
Sikäli kuin kirjoittajat tietävät, olimme ainoa tiimi, joka toimitti tulkittavissa olevan mallin mustan laatikon sijaan.
Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M., & Rudin, C. (2018). Todistettavasti optimaalisten sääntöluetteloiden oppiminen kategorisille aineistoille. Journal of Machine Learning Research, 18(234), 1-78.
Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., & Elhadad, N. (2015). Älykkäät mallit terveydenhuoltoon: Keuhkokuumeen riskin ja sairaalan 30 päivän takaisinottojen ennustaminen. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM, Sydney, NSW, Australia, 721-1730.
Chen, C., Li, O., Barnett, A., Su, J., & Rudin, C. (2019). Tämä näyttää siltä: Deep learning for interpretable image recognition. Vancouver, Kanada, Advances in Neural Information Processing Systems.
Li, O., Liu, H., Chen, C., & Rudin, C. (2018). Syväoppiminen tapauskohtaiseen päättelyyn prototyyppien avulla: Neuroverkko, joka selittää ennustuksiaan. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), New Orleans, Louisiana, 3530-3587.
Li, Y., Murias, M., Major, S., Dawson, G., Dzirasa, K., Carin, L., & Carlson, D. E. (2017). EEG / LFP-synkronian kohdistaminen neuroverkoilla. Advances in Neural Information Processing Systems, Montreal, Canada, 4620-4630.
Ming, Y., Xu, P., Qu, H., & Ren, L. (2019). Tulkittava ja ohjattava sekvenssioppiminen prototyyppien avulla. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, Alaska, 903-913.
Razavian, N., Blecker, S., Schmidt, A. M., Smith-McLallen, A., Nigam, S., & Sontag, D. (2015). Tyypin 2 diabeteksen väestötason ennuste korvaushakemustiedoista ja riskitekijöiden analyysistä. Big Data, 3, 277-287.
Angwin, J. ja Larson, J. ja Mattu, S. ja Kirchner, L. Machine Bias. ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, viitattu 2016-5-23.
Rudin, C. (2019). Lopeta mustan laatikon koneoppimismallien selittäminen korkean panoksen päätöksiä varten ja käytä sen sijaan tulkittavia malleja. Nature Machine Intelligence, 1, 206-215.
Rudin, C., & Ustun, B. (2018). Optimoidut pisteytysjärjestelmät: Kohti luottamusta terveydenhuollon ja rikosoikeuden koneoppimiseen. Interfaces, 48, 449-466.
Rudin, C., Wang, C., & Coker, B. (2019). Salailun ja epäoikeudenmukaisuuden aikakausi uusintarikollisuuden ennustamisessa. Harvard Data Science Review (painossa).
Tollenaar, N., & van der Heijden, P. G. M. (2013). Mikä menetelmä ennustaa uusintarikollisuutta parhaiten? Tilastollisten, koneoppimisen ja tiedonlouhinnan ennustemallien vertailu. Journal of the Royal Statistical Society, Series A: Statistics in Society, 176, 565-584.
Zeng, J., Ustun, B., & Rudin, C. (2016). Tulkittavat luokittelumallit uusintarikollisuuden ennustamiseen. Journal of the Royal Statistical Society, Series A: Statistics in Society, 180, 689-722.
Tämä artikkeli on © 2019 Cynthia Rudin ja Joanna Radin. Artikkelin käyttöoikeus on Creative Commons Nimeä (CC BY 4.0) Kansainvälinen -lisenssi (https://creativecommons.org/licenses/by/4.0/legalcode), ellei artikkeliin sisältyvän tietyn aineiston osalta toisin mainita. Artikkeli tulee osoittaa edellä mainituille kirjoittajille.