A mesterséges intelligencia (AI) területén 2018-ban egy mérföldkőnek számító kihívásra került sor, nevezetesen az Explainable Machine Learning Challenge-re. A verseny célja az volt, hogy egy bonyolult fekete doboz modellt hozzunk létre az adathalmazhoz, és magyarázzuk el, hogyan működik. Az egyik csapat nem tartotta be a szabályokat. Ahelyett, hogy egy fekete dobozt küldtek volna be, egy teljesen értelmezhető modellt hoztak létre. Ez felveti a kérdést, hogy vajon a gépi tanulás valós világa hasonlít-e az Explainable Machine Learning Challenge versenyhez, ahol fekete dobozos modelleket használnak akkor is, ha nincs rájuk szükség. Megvitatjuk ennek a csapatnak a verseny során alkalmazott gondolatmenetét és annak következményeit, amelyek messze túlmutatnak magán a versenyen.
Kulcsszavak: értelmezhetőség, megmagyarázhatóság, gépi tanulás, pénzügy
2018 decemberében több száz vezető informatikus, pénzügyi mérnök és vezető zsúfolódott össze a Montreal Convention Centerben egy teremben az éves Neural Information Processing Systems (NeurIPS) konferencián, hogy meghallgassa az Explainable Machine Learning Challenge eredményeit, amely egy rangos verseny, amelyet a Google, a Fair Isaac Corporation (FICO), valamint a Berkeley, Oxford, Imperial, UC Irvine és MIT akadémikusai közösen szerveztek. Ez volt az első olyan adattudományi verseny, amely azt az igényt tükrözte, hogy értelmet adjunk a gépi tanuláson alapuló döntéshozatalt uraló fekete doboz modellek által kiszámított eredményeknek.
A számítógépes látás mélytanulásának fejlődése az elmúlt néhány évben ahhoz a széles körben elterjedt meggyőződéshez vezetett, hogy a legpontosabb modelleknek bármely adott adattudományi problémára eredendően értelmezhetetleneknek és bonyolultnak kell lenniük. Ez a hiedelem a gépi tanulás történelmi felhasználásából ered a társadalomban: a modern technikák olyan alacsony tétű döntésekhez születtek és tenyésztették ki, mint az online hirdetések és a webes keresés, ahol az egyes döntések nem befolyásolják mélyen az emberi életeket.
A gépi tanulásban ezeket a fekete doboz modelleket közvetlenül az adatokból hozza létre egy algoritmus, ami azt jelenti, hogy az emberek, még azok sem, akik ezeket tervezik, nem érthetik, hogy a változókat hogyan kombinálják az előrejelzésekhez. Még ha rendelkezünk is a bemeneti változók listájával, a fekete doboz előrejelző modellek olyan bonyolult függvényei lehetnek a változóknak, hogy egyetlen ember sem képes megérteni, hogyan kapcsolódnak a változók együttesen egymáshoz a végső előrejelzés eléréséhez.
A fekete doboz modellekkel technikailag egyenértékű, de valószínűleg etikusabb alternatívát nyújtó értelmezhető modellek másak – ezek korlátozásokkal rendelkeznek, hogy jobban megértsük, hogyan készülnek az előrejelzések. Bizonyos esetekben nagyon világossá tehető, hogy a változók hogyan kapcsolódnak együttesen a végső előrejelzés kialakításához, ahol esetleg csak néhány változót kombinálnak egy rövid logikai állításban, vagy egy lineáris modell segítségével, ahol a változókat súlyozzák és összeadják. Néha az értelmezhető modellek egyszerűbb modellekből állnak össze (dekomponálhatók), vagy a modellre más megkötéseket helyeznek, hogy a betekintés egy új szintjét adják hozzá. A legtöbb gépi tanulási modellt azonban nem értelmezhetőségi megkötésekkel tervezik; csak arra tervezik őket, hogy pontos előrejelzők legyenek egy statikus adathalmazon, amely vagy reprezentálja, vagy nem, hogy a modellt hogyan használnák a gyakorlatban.
Az a meggyőződés, hogy a pontosságot fel kell áldozni az értelmezhetőségért, pontatlan. Ez tette lehetővé a vállalatok számára, hogy szabadalmaztatott vagy bonyolult “fekete doboz” modelleket forgalmazzanak és értékesítsenek nagy téttel bíró döntésekhez, miközben ugyanezekre a feladatokra nagyon egyszerű, értelmezhető modellek is léteznek. Mint ilyen, lehetővé teszi a modellkészítők számára a profitszerzést anélkül, hogy figyelembe vennék az érintett egyénekre gyakorolt káros következményeket. Kevesen kérdőjelezik meg ezeket a modelleket, mert tervezőik azt állítják, hogy a modelleknek bonyolultnak kell lenniük ahhoz, hogy pontosak legyenek. A 2018-as Explainable Machine Learning Challenge esettanulmányként szolgál a fekete dobozos modellek értelmezhető modellekkel szembeni előnyben részesítésének kompromisszumainak mérlegelésére.
A kihívás nyerteseinek kihirdetése előtt a közönséget – amely a pénzügy, a robotika és a gépi tanulás hatalmi szereplőiből állt – arra kérték, hogy vegyenek részt egy gondolatkísérletben, amelyben rákos betegek voltak, és egy daganat eltávolításához műtétre volt szükségük. Két kép jelent meg a képernyőn. Az egyik kép egy emberi sebészt ábrázolt, aki bármit meg tudott magyarázni a műtéttel kapcsolatban, de 15% esélye volt arra, hogy a műtét során halált okoz. A másik kép egy robotkart ábrázolt, amely mindössze 2%-os eséllyel tudta elvégezni a műtétet. A robot a mesterséges intelligencia (AI) fekete dobozos megközelítését volt hivatott szimulálni. Ebben a forgatókönyvben teljes bizalomra volt szükség a robot iránt; a robotnak nem lehetett kérdéseket feltenni, és nem lehetett pontosan megérteni, hogyan jutott a döntéseihez. A közönséget ezután arra kérték, hogy emelje fel a kezét, és szavazzon, hogy a két robot közül melyiket részesítené előnyben az életmentő műtét elvégzésében. Egy kéz kivételével mindenki a robotra szavazott.
Míg nyilvánvalónak tűnhet, hogy a 2%-os halálozási esély jobb, mint a 15%-os halálozási esély, a mesterséges intelligencia rendszerek tétjének ilyen módon történő meghatározása elfed egy sokkal alapvetőbb és érdekesebb szempontot: Miért kell a robotnak fekete doboznak lennie? Elveszítené a robot a pontos műtétek elvégzésének képességét, ha képessé tennék arra, hogy megmagyarázza önmagát? Nem javítaná-e a robot és a beteg, illetve az orvos közötti jobb kommunikáció a betegellátást, ahelyett, hogy rontaná azt? Nem kellene-e a betegnek a műtét előtt elmagyarázni a robotnak, hogy véralvadási rendellenessége van?
Ezt a lehetőséget, hogy a robotnak nem kell fekete doboznak lennie, nem mutatták be lehetőségként, és a workshop közönségének csak a pontos fekete doboz és a pontatlan üvegdoboz közötti választási lehetőséget adták meg. A közönségnek nem mondták el, hogyan mérik a sebészeti eredmények pontosságát (milyen populáción mérték a 2%-ot és a 15%-ot?), és nem tájékoztatták őket a robot betanításához használt adathalmaz lehetséges hibáiról sem. Feltételezve, hogy a pontosságnak az értelmezhetőség rovására kell mennie (a képesség, hogy megértsük, miért teszi a sebész, amit tesz), ez a mentális kísérlet nem vette figyelembe, hogy az értelmezhetőség nem biztos, hogy árt a pontosságnak. Az értelmezhetőség még javíthatja is a pontosságot, mivel lehetővé teszi annak megértését, hogy a modell, ebben az esetben a robotsebész, mikor lehet hibás.
Hamis kettősség, ha azt kérik, hogy egy pontos gépet vagy egy érthető embert válasszunk. Ennek ilyen értelmezése segít abban, hogy diagnosztizáljuk azokat a problémákat, amelyek a fekete doboz modelleknek a nagy tétekkel járó döntésekhez való használatából erednek az egész társadalomban. Ezek a problémák léteznek a pénzügyekben, de az egészségügyben, a büntető igazságszolgáltatásban és azon túl is.
Mutatunk néhány bizonyítékot arra, hogy ez a feltételezés (miszerint mindig fel kell áldoznunk némi értelmezhetőséget, hogy a legpontosabb modellt kapjuk) téves. A büntető igazságszolgáltatásban többször bebizonyosodott (Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, & 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016), hogy a jövőbeli letartóztatást előrejelző bonyolult fekete doboz modellek semmivel sem pontosabbak, mint a nagyon egyszerű, életkoron és büntetett előéleten alapuló előrejelző modellek. Például az Angelino és munkatársai (2018) munkájában létrehozott, értelmezhető gépi tanulási modell az újbóli letartóztatás előrejelzésére csak néhány szabályt vesz figyelembe valakinek az életkoráról és a büntetett előéletéről. A teljes gépi tanulási modell a következő: ha a személynek vagy >3 korábbi bűncselekménye van, vagy 18-20 éves és férfi, vagy 21-23 éves és két vagy három korábbi bűncselekménye van, akkor azt jósolják, hogy az értékeléstől számított két éven belül újra letartóztatják, egyébként pedig nem. Bár nem feltétlenül javasoljuk ennek a konkrét modellnek a büntető igazságszolgáltatásban való alkalmazását, ez a szabályrendszer ugyanolyan pontos, mint a széles körben használt (és védett) COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) nevű fekete dobozos modell, amelyet a floridai Broward megyében használnak (Angelino et al., 2018).
A fenti egyszerű modell ugyanolyan pontos, mint számos más korszerű gépi tanulási módszer (Angelino et al., 2018). Hasonló eredményeket találtak a gépi tanulási módszerek között, amelyeket más adathalmazokon sok különböző típusú visszatartás-előrejelzési problémára alkalmaztak: az értelmezhető modellek (amelyek ezekben a tanulmányokban nagyon kicsi lineáris modellek vagy logikai modellek voltak) ugyanolyan jól teljesítettek, mint a bonyolultabb (fekete doboz) gépi tanulási modellek (Zeng et al., 2016). Úgy tűnik, nincs bizonyíték arra, hogy a fekete doboz modellek használata előnyös lenne a bűnügyi kockázat előrejelzéséhez. Sőt, hátrányai lehetnek abban, hogy ezeket a fekete dobozokat nehezebb hibaelhárítani, megbízni bennük és használni.
A fekete dobozos modellek pontossága tekintetében sem tűnik előnyösnek számos egészségügyi területen és számos más, nagy téttel bíró gépi tanulási alkalmazásban, ahol életbevágó döntések születnek (pl, Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018, akik mind olyan modelleket mutatnak ki értelmezhetőségi korlátozásokkal, amelyek ugyanolyan jól teljesítenek, mint a korlátozások nélküli modellek). Ezzel szemben a fekete dobozos modellek számtalan lehetséges súlyos hibát rejthetnek el (lásd pl. Rudin, 2019). Még a számítógépes látásban is, ahol a mély neurális hálózatok (a legnehezebben magyarázható fekete doboz modell) a legkorszerűbbek, mi és más tudósok (pl. Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019) megtaláltuk a módját, hogy értelmezhetőségi megkötéseket adjunk a mély tanulási modellekhez, ami átláthatóbb számításokhoz vezet. Ezek az értelmezhetőségi megkötések nem mentek a pontosság rovására, még a számítógépes látáshoz használt mély neurális hálózatok esetében sem.
Egy fekete doboz modellben való bizalom azt jelenti, hogy nemcsak a modell egyenleteiben bízunk, hanem a teljes adatbázisban is, amelyből felépítették. Például a robot és a sebész forgatókönyvében, anélkül, hogy tudnánk, hogyan becsülték meg a 2%-ot és a 15%-ot, meg kell kérdőjeleznünk ezeknek a számoknak a relevanciáját az orvosi betegek bármely adott alpopulációjára vonatkozóan. Minden általunk látott, ésszerűen összetett adathalmaz tartalmaz tökéletlenségeket. Ezek a hatalmas mennyiségű hiányzó adatoktól (amelyek nem véletlenszerűen hiányoznak) vagy a nem mért zavaró tényezőktől kezdve az adathalmaz szisztematikus hibáin át (pl, a gyógyszeres kezelések helytelen kódolása), az adatgyűjtési problémákig, amelyek miatt az adatok eloszlása eltér attól, amit eredetileg gondoltunk.
Az orvosi környezetben alkalmazott fekete doboz modellek egyik ilyen gyakori problémája az adatszivárgás, amikor az y címkére vonatkozó információ olyan módon lopakodik be az x változókba, amit a változók címét és leírását nézve nem is gyanítanánk: néha azt hisszük, hogy valamit a jövőben jósolunk meg, de csak a múltban történt dolgokat észleljük. Az orvosi kimenetel előrejelzése során a gép az orvosok feljegyzéseiben olyan információkat ragadhat meg, amelyek a betegek kimeneteléről árulkodnak, mielőtt azt hivatalosan rögzítenék, és így tévesen sikeres előrejelzésnek állíthatja ezeket.
A fekete doboz modellek átláthatatlanságával kapcsolatos széles körű aggodalmakkal próbáltak meg számot vetni, és néhány tudós megpróbált magyarázatot adni rájuk, hipotéziseket felállítani arról, hogy miért jutnak a meghozott döntésekhez. Az ilyen magyarázatok általában vagy egy teljesen más modellel próbálják utánozni a fekete doboz előrejelzéseit (esetleg más fontos változókkal, elfedve, hogy mit is csinál valójában a fekete doboz), vagy egy másik statisztikát adnak, amely hiányos információt szolgáltat a fekete doboz számításairól. Az ilyen magyarázatok sekélyesek, sőt, üresek, mivel inkább kiterjesztik a fekete doboz tekintélyét, minthogy felismernék, hogy erre nincs szükség. És néha ezek a magyarázatok tévesek.
Amikor például a ProPublica újságírói megpróbálták megmagyarázni, hogy mi van a visszaesés előrejelzésére szolgáló saját COMPAS modellben (Angwin et al., 2016), úgy tűnik, tévesen feltételezték, hogy ha létre lehet hozni egy lineáris modellt, amely megközelíti a COMPAS-t, és függ a fajtól, az életkortól és a bűnügyi előzményektől, akkor magának a COMPAS-nak is függenie kell a fajtól. Ha azonban a COMPAS-t nemlineáris modellel közelítjük meg, a fajtól való explicit függés eltűnik (Rudin, Wang, & Coker, 2019), és a fajtól való függés csak az életkoron és a bűnügyi előzményeken keresztül marad. Ez egy példa arra, hogy egy fekete doboz helytelen magyarázata hogyan csúszhat ki az irányítás alól. Talán ha az igazságszolgáltatás csak értelmezhető modelleket használt volna (amelyekről mi és mások bebizonyítottuk, hogy ugyanolyan pontosak), a ProPublica újságírói más történetet írhattak volna. Talán például arról írhatnának, hogy ezekben a pontszámokban gyakran fordulnak elő tipográfiai hibák, és nincs nyilvánvaló módja a hibaelhárításnak, ami az igazságszolgáltatási rendszerben következetlen, életeket megváltoztató döntésekhez vezet (lásd pl. Rudin et al., 2019).
De a 2018-as NeurIPS konferencián, a szakértőkkel teli teremben, akik éppen a robotot választották a sebész helyett, a bemondó folytatta a verseny leírását. A FICO rendelkezésre bocsátott egy otthoni hitelkeret (HELOC) adathalmazt, amely több ezer anonim személy adatait tartalmazza, beleértve a hiteltörténetük szempontjait és azt, hogy az egyén nem fizette-e ki a hitelt vagy sem. A verseny célja egy fekete dobozos modell létrehozása volt a hitel nemfizetés előrejelzésére, majd a fekete doboz magyarázata.
Az ember azt feltételezné, hogy egy olyan verseny esetében, ahol a versenyzőknek egy fekete dobozt kell létrehozniuk és megmagyarázniuk, a problémához valóban szükség van egy fekete dobozra. De nem így volt. Még 2018 júliusában, amikor a Duke-csapat megkapta az adatokat, alig egy hétig tartó játék után rájöttünk, hogy a FICO-adatokat fekete doboz nélkül is hatékonyan elemezhetjük. Mindegy, hogy mély neurális hálózatot vagy a lineáris modellek klasszikus statisztikai technikáit használtuk, azt találtuk, hogy a módszerek között kevesebb mint 1%-os különbség volt a pontosságban, ami az adatok véletlenszerű mintavételezése által okozott hibahatáron belül van. Még akkor is, amikor olyan gépi tanulási technikákat használtunk, amelyek nagyon jól értelmezhető modelleket adtak, olyan pontosságot tudtunk elérni, amely megfelelt a legjobb fekete doboz modelljének. Ezen a ponton tanácstalanok voltunk, hogy mit tegyünk. Játsszunk a szabályok szerint, és adjunk egy fekete dobozt a bíráknak, és próbáljuk megmagyarázni azt? Vagy adjuk meg az átlátható, értelmezhető modellt? Más szóval, mit tegyünk, ha úgy találjuk, hogy a robot és a sebész hamis kettősségébe kényszerültünk?
A csapatunk úgy döntött, hogy egy olyan fontos probléma esetében, mint a hitelpontozás, nem adunk egy fekete dobozt a zsűrinek pusztán azért, hogy megmagyarázzuk azt. Ehelyett egy értelmezhető modellt hoztunk létre, amelyről úgy gondoltuk, hogy még egy kevés matematikai háttérrel rendelkező banki ügyfél is képes lesz megérteni. A modell különböző minimodellekre bontható volt, amelyek mindegyike önmagában is érthető volt. Egy további interaktív online vizualizációs eszközt is létrehoztunk a hitelezők és a magánszemélyek számára. A weboldalunkon a hiteltörténeti tényezőkkel való játék lehetővé tette volna, hogy az emberek megértsék, mely tényezők fontosak a hitelkérelemmel kapcsolatos döntések szempontjából. Egyáltalán nem fekete doboz. Tudtuk, hogy így valószínűleg nem fogjuk megnyerni a versenyt, de volt egy fontosabb szempont, amire rá kellett mutatnunk.
Az ember azt gondolná, hogy rengeteg olyan alkalmazás van, ahol az értelmezhető modellek nem lehetnek olyan pontosak, mint a fekete dobozos modellek. Végül is, ha pontos értelmezhető modellt tudnál építeni, akkor miért használnál fekete dobozt? Amint azonban az Explainable Machine Learning Challenge (Megmagyarázható gépi tanulás kihívás) feltárta, valójában rengeteg olyan alkalmazás van, ahol az emberek nem próbálnak meg értelmezhető modellt építeni, mert úgy gondolhatják, hogy egy összetett adathalmaz esetében egy értelmezhető modell nem lehet olyan pontos, mint egy fekete doboz. Vagy esetleg meg akarják őrizni a modellt védettként. Ilyenkor felmerülhet, hogy ha értelmezhető mélytanulási modelleket lehet konstruálni számítógépes látáshoz és idősorelemzéshez (pl. Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al., 2019), akkor a szabványt meg kell változtatni arról a feltételezésről, hogy értelmezhető modellek nem léteznek, arra a feltételezésre, hogy léteznek, amíg az ellenkezőjét nem bizonyítják.
Mégis, ha a tudósok megértik, hogy mit csinálnak, amikor modelleket építenek, akkor olyan AI-rendszereket tudnak létrehozni, amelyek jobban tudják szolgálni a rájuk támaszkodó embereket. Ezekben az esetekben az úgynevezett pontosság-értelmezhetőség kompromisszumról kiderül, hogy tévedés: az értelmezhetőbb modellek gyakran pontosabbak (és nem kevésbé) lesznek.
A pontos fekete doboz és a kevésbé pontos, átlátható modell közötti hamis dichotómia túl messzire ment. Ha vezető tudósok és pénzügyi cégek vezetőinek százait vezeti félre ez a kettősség, képzeljük el, hogy a világ többi részét is megtéveszthetik. A következmények mélyrehatóak: ez befolyásolja a büntető igazságszolgáltatási rendszerünk, pénzügyi rendszereink, egészségügyi rendszereink és sok más terület működését. Ragaszkodjunk ahhoz, hogy ne használjunk fekete dobozos gépi tanulási modelleket nagy tétekkel járó döntésekhez, hacsak nem lehet olyan értelmezhető modellt készíteni, amely ugyanolyan pontosságot ér el. Lehetséges, hogy mindig lehet értelmezhető modellt készíteni – csak eddig nem próbálkoztunk vele. Talán ha megpróbálnánk, akkor egyáltalán nem használnánk fekete dobozokat ezekre a nagy tétekkel járó döntésekre.
Jegyzetek
-
A magyarázható gépi tanulási kihívás honlapja itt található: https://community.fico.com/s/explainable-machine-learning-challenge
-
Ez a cikk a Rudin 2018-as Explainable Machine Learning Challenge versenyen szerzett tapasztalatain alapul.
-
Az olvasók itt játszhatnak a kihívásra benyújtott interaktív versenybejegyzésünkkel: http://dukedatasciencefico.cs.duke.edu
-
A pályázatunk valóban nem nyerte meg a versenyt a verseny szervezői szerint. A zsűrinek egyáltalán nem volt lehetősége interakcióba lépni a modellünkkel és annak vizualizációs eszközével; a beadási határidő után döntöttek úgy, hogy a zsűrinek nem biztosítanak interaktív vizualizációt. A FICO azonban külön értékelte a pályaműveket, és a mi pályázatunk jól szerepelt az értékelésükben, így elnyerte a FICO elismerő díját a versenyen. Íme a FICO közleménye a győztesekről:
https://www.fico.com/en/newsroom/fico-announces-winners-of-inaugural-xml-challenge?utm_source=FICO-Community&utm_medium=xml-challenge-page
-
A szerzők tudomása szerint mi voltunk az egyetlen csapat, amely nem fekete dobozt, hanem értelmezhető modellt adott be.
Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M., & Rudin, C. (2018). Bizonyíthatóan optimális szabálylisták tanulása kategorikus adatokra. Journal of Machine Learning Research, 18(234), 1-78.
Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., & Elhadad, N. (2015). Intelligens modellek az egészségügyben: A tüdőgyulladás kockázatának és a kórházi 30 napos visszafogadás előrejelzése. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM, Sydney, NSW, Australia, 721-1730.
Chen, C., Li, O., Barnett, A., Su, J., & Rudin, C. (2019). Ez így néz ki: Mélytanulás értelmezhető képfelismeréshez. Vancouver, Canada, Advances in Neural Information Processing Systems.
Li, O., Liu, H., Chen, C., & Rudin, C. (2018). Mélytanulás esetalapú érveléshez prototípusokon keresztül: Egy neurális hálózat, amely megmagyarázza a jóslatait. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), New Orleans, Louisiana, 3530-3587.
Li, Y., Murias, M., Major, S., Dawson, G., Dzirasa, K., Carin, L., & Carlson, D. E. (2017). Az EEG/LFP szinkronitás megcélzása neurális hálókkal. Advances in Neural Information Processing Systems, Montreal, Canada, 4620-4630.
Ming, Y., Xu, P., Qu, H., & Ren, L. (2019). Értelmezhető és irányítható szekvenciatanulás prototípusokon keresztül. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, Alaska, 903-913.
Razavian, N., Blecker, S., Schmidt, A. M., Smith-McLallen, A., Nigam, S., & Sontag, D. (2015). A 2-es típusú cukorbetegség populációs szintű előrejelzése kárigényadatokból és a kockázati tényezők elemzéséből. Big Data, 3, 277-287.
Angwin, J. és Larson, J. és Mattu, S. és Kirchner, L. Machine Bias. ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, elérés 2016-5-23.
Rudin, C. (2019). Hagyjunk fel a fekete dobozos gépi tanulási modellek magyarázatával a nagy tétekkel járó döntéseknél, és használjunk helyette értelmezhető modelleket. Nature Machine Intelligence, 1, 206-215.
Rudin, C., & Ustun, B. (2018). Optimalizált pontozási rendszerek: A gépi tanulásba vetett bizalom felé az egészségügyben és a büntető igazságszolgáltatásban. Interfaces, 48, 449-466.
Rudin, C., Wang, C., & Coker, B. (2019). A titoktartás és a tisztességtelenség kora a visszaesés előrejelzésében. Harvard Data Science Review (in press).
Tollenaar, N., & van der Heijden, P. G. M. (2013). Melyik módszer jósolja meg legjobban a visszaesést? Statisztikai, gépi tanulási és adatbányászati előrejelző modellek összehasonlítása. Journal of the Royal Statistical Society, Series A: Statistics in Society, 176, 565-584.
Zeng, J., Ustun, B., & Rudin, C. (2016). Értelmezhető osztályozási modellek a visszaesés előrejelzésére. Journal of the Royal Statistical Society, Series A: Statistics in Society, 180, 689-722.
Ez a cikk © 2019 Cynthia Rudin és Joanna Radin. A cikket a Creative Commons Attribution (CC BY 4.0) Nemzetközi licenc (https://creativecommons.org/licenses/by/4.0/legalcode) alatt olvassák, kivéve, ha a cikkben szereplő egyes anyagokkal kapcsolatban másként van feltüntetve. A cikket a fent megjelölt szerzőknek kell tulajdonítani.