W 2018 roku miało miejsce przełomowe wyzwanie w dziedzinie sztucznej inteligencji (AI), a mianowicie Explainable Machine Learning Challenge. Celem konkursu było stworzenie skomplikowanego modelu czarnej skrzynki dla zbioru danych i wyjaśnienie, jak on działa. Jeden z zespołów nie zastosował się do zasad. Zamiast wysłać czarną skrzynkę, stworzyli model, który był w pełni interpretowalny. To prowadzi do pytania, czy prawdziwy świat uczenia maszynowego jest podobny do Explainable Machine Learning Challenge, gdzie modele czarnych skrzynek są używane nawet wtedy, gdy nie są potrzebne. Omawiamy procesy myślowe tego zespołu podczas konkursu i ich implikacje, które sięgają daleko poza sam konkurs.
Słowa kluczowe: interpretowalność, wyjaśnialność, uczenie maszynowe, finanse
W grudniu 2018 roku setki najlepszych informatyków, inżynierów finansowych i kadry kierowniczej stłoczyły się w sali w Montreal Convention Center na dorocznej konferencji Neural Information Processing Systems (NeurIPS), aby usłyszeć wyniki Explainable Machine Learning Challenge, prestiżowego konkursu zorganizowanego wspólnie przez Google, Fair Isaac Corporation (FICO) oraz pracowników naukowych z Berkeley, Oxford, Imperial, UC Irvine i MIT. Był to pierwszy konkurs w dziedzinie nauki o danych, który odzwierciedlał potrzebę nadania sensu wynikom obliczonym przez modele czarnych skrzynek, które dominują w procesie podejmowania decyzji opartym na uczeniu maszynowym.
W ciągu ostatnich kilku lat postępy w głębokim uczeniu dla wizji komputerowej doprowadziły do powszechnego przekonania, że najdokładniejsze modele dla dowolnego problemu nauki o danych muszą być z natury nieinterpretowalne i skomplikowane. To przekonanie wynika z historycznego zastosowania uczenia maszynowego w społeczeństwie: jego nowoczesne techniki narodziły się i zostały wyhodowane dla decyzji o niskiej stawce, takich jak reklama online i wyszukiwanie w sieci, gdzie indywidualne decyzje nie mają głębokiego wpływu na ludzkie życie.
W uczeniu maszynowym te modele czarnych skrzynek są tworzone bezpośrednio z danych przez algorytm, co oznacza, że ludzie, nawet ci, którzy je projektują, nie mogą zrozumieć, w jaki sposób zmienne są łączone w celu tworzenia prognoz. Nawet jeśli ktoś ma listę zmiennych wejściowych, modele predykcyjne czarnych skrzynek mogą być tak skomplikowanymi funkcjami zmiennych, że żaden człowiek nie może zrozumieć, jak zmienne są wspólnie powiązane ze sobą, aby osiągnąć ostateczną prognozę.
Modele interpretowalne, które zapewniają technicznie równoważną, ale prawdopodobnie bardziej etyczną alternatywę dla modeli czarnych skrzynek, są inne – są ograniczone, aby zapewnić lepsze zrozumienie, jak prognozy są dokonywane. W niektórych przypadkach może być bardzo jasne, jak zmienne są wspólnie powiązane, aby utworzyć ostateczne przewidywanie, gdzie być może tylko kilka zmiennych jest połączonych w krótkim logicznym stwierdzeniu, lub przy użyciu modelu liniowego, gdzie zmienne są ważone i dodawane razem. Czasami interpretowalne modele składają się z prostszych modeli połączonych razem (dekomponowalne), lub inne ograniczenia są nakładane na model, aby dodać nowy poziom wglądu. Większość modeli uczenia maszynowego, jednakże, nie jest zaprojektowana z ograniczeniami interpretowalności; są one po prostu zaprojektowane, aby być dokładnymi predyktorami na statycznym zbiorze danych, który może lub nie może reprezentować tego, jak model byłby używany w praktyce.
Wiara, że dokładność musi być poświęcona dla interpretowalności jest niedokładna. Umożliwiło to firmom wprowadzanie na rynek i sprzedawanie zastrzeżonych lub skomplikowanych modeli czarnych skrzynek do podejmowania decyzji o wysokiej stawce, podczas gdy istnieją bardzo proste, dające się interpretować modele do tych samych zadań. Jako takie, pozwala to twórcom modeli na osiąganie zysków bez uwzględnienia szkodliwych konsekwencji dla dotkniętych nimi osób. Niewielu kwestionuje te modele, ponieważ ich projektanci twierdzą, że modele muszą być skomplikowane, aby były dokładne. Wyzwanie 2018 Explainable Machine Learning Challenge służy jako studium przypadku do rozważenia kompromisów wynikających z preferowania modeli czarnych skrzynek nad modelami interpretowalnymi.
Przed ogłoszeniem zwycięzców wyzwania, publiczność – składająca się z graczy władzy w sferze finansów, robotyki i uczenia maszynowego – została poproszona o zaangażowanie się w eksperyment myślowy, w którym mieli raka i potrzebowali operacji usunięcia guza. Na ekranie wyświetlono dwa obrazy. Jeden obraz przedstawiał ludzkiego chirurga, który mógł wyjaśnić wszystko na temat operacji, ale miał 15% szans na spowodowanie śmierci podczas zabiegu. Drugi obraz przedstawiał robotyczne ramię, które mogło wykonać operację z zaledwie 2% szansą niepowodzenia. Robot miał symulować podejście czarnej skrzynki do sztucznej inteligencji (AI). W tym scenariuszu wymagane było całkowite zaufanie do robota; nie można było zadawać mu żadnych pytań, ani zrozumieć, w jaki sposób podejmował decyzje. Następnie poproszono publiczność o podniesienie ręki w celu zagłosowania, który z nich wolałby przeprowadzić operację ratującą życie. Wszyscy oprócz jednej ręki zagłosowali na robota.
Choć może się to wydawać oczywiste, że 2% szansy na śmiertelność jest lepsze niż 15% szansy na śmiertelność, ujęcie stawki systemów AI w ten sposób zaciemnia bardziej fundamentalne i interesujące rozważania: Dlaczego robot musi być czarną skrzynką? Czy robot straciłby swoją zdolność do przeprowadzania dokładnych operacji, gdyby miał możliwość wyjaśnienia samego siebie? Czy lepsza komunikacja pomiędzy robotem a pacjentem lub lekarzem nie poprawiłaby opieki nad pacjentem, zamiast ją osłabiać? Czy pacjent nie musiałby być w stanie wyjaśnić robotowi, że ma zaburzenia krzepnięcia krwi przed operacją?
Ta możliwość, że robot nie musi być czarną skrzynką, nie została przedstawiona jako opcja, a publiczność warsztatów otrzymała tylko wybór między dokładną czarną skrzynką a niedokładną szklaną skrzynką. Publiczności nie powiedziano, w jaki sposób mierzono dokładność wyników chirurgicznych (na jakiej populacji mierzono te 2% i 15%?), ani nie poinformowano jej o potencjalnych wadach zbioru danych, który został użyty do szkolenia robota. Zakładając, że dokładność musi przyjść kosztem interpretowalności (możliwości zrozumienia, dlaczego chirurg robi to, co robi), ten eksperyment myślowy nie wziął pod uwagę, że interpretowalność może nie zaszkodzić dokładności. Interpretowalność może nawet poprawić dokładność, ponieważ pozwala zrozumieć, kiedy model, w tym przypadku zrobotyzowanego chirurga, może być niepoprawny.
Pytanie o wybór dokładnej maszyny lub zrozumiałego człowieka jest fałszywą dychotomią. Zrozumienie jej jako takiej pomaga nam zdiagnozować problemy, które wynikają z wykorzystania modeli czarnych skrzynek do podejmowania decyzji o wysokiej stawce w całym społeczeństwie. Problemy te występują w finansach, ale także w opiece zdrowotnej, sądownictwie karnym i nie tylko.
Podajmy kilka dowodów na to, że to założenie (że zawsze musimy poświęcić pewną interpretowalność, aby uzyskać najdokładniejszy model) jest błędne. W systemie wymiaru sprawiedliwości w sprawach karnych wielokrotnie wykazano (Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016), że skomplikowane modele czarnych skrzynek do przewidywania przyszłego aresztowania nie są wcale dokładniejsze niż bardzo proste modele predykcyjne oparte na wieku i historii kryminalnej. Na przykład, interpretowalny model uczenia maszynowego do przewidywania ponownego aresztowania, stworzony w pracy Angelino et al. (2018), uwzględnia tylko kilka reguł dotyczących czyjegoś wieku i historii kryminalnej. Pełny model uczenia maszynowego jest następujący: jeśli osoba ma albo >3 wcześniejsze przestępstwa, albo ma 18-20 lat i jest mężczyzną, albo ma 21-23 lata i ma dwa lub trzy wcześniejsze przestępstwa, przewiduje się, że zostanie ponownie aresztowana w ciągu dwóch lat od oceny, a w przeciwnym razie nie. Chociaż niekoniecznie opowiadamy się za stosowaniem tego konkretnego modelu w warunkach wymiaru sprawiedliwości w sprawach karnych, ten zestaw reguł jest tak dokładny, jak szeroko stosowany (i zastrzeżony) model czarnej skrzynki o nazwie COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), stosowany w hrabstwie Broward na Florydzie (Angelino i in., 2018).
Powyższy prosty model jest również tak dokładny, jak wiele innych najnowocześniejszych metod uczenia maszynowego (Angelino i in., 2018). Podobne wyniki stwierdzono w odniesieniu do metod uczenia maszynowego stosowanych do wielu różnych rodzajów problemów związanych z przewidywaniem powrotów do przestępstwa na innych zbiorach danych: interpretowalne modele (które w tych badaniach były bardzo małymi modelami liniowymi lub modelami logicznymi) działały równie dobrze jak bardziej skomplikowane (czarne skrzynki) modele uczenia maszynowego (Zeng i in., 2016). Nie wydaje się, aby istniały dowody na korzyści wynikające ze stosowania modeli czarnych skrzynek do przewidywania ryzyka kryminalnego. W rzeczywistości mogą istnieć wady w tym, że te czarne skrzynki są trudniejsze do rozwiązywania problemów, zaufania i użycia.
Nie wydaje się również, aby istniała korzyść w dokładności dla modeli czarnych skrzynek w kilku domenach opieki zdrowotnej i w wielu innych aplikacjach uczenia maszynowego o wysokiej stawce, w których podejmowane są decyzje wpływające na życie (np, Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018, którzy wszyscy pokazują modele z ograniczeniami interpretowalności, które wykonują tak samo dobrze jak modele bez ograniczeń). Wręcz przeciwnie, modele czarnej skrzynki mogą maskować niezliczoną liczbę możliwych poważnych błędów (np. Zobacz Rudin, 2019). Nawet w wizji komputerowej, gdzie głębokie sieci neuronowe (najtrudniejszy do wyjaśnienia rodzaj modelu czarnej skrzynki) są state-of-the-art, my i inni naukowcy (np. Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019) znaleźli sposoby na dodanie ograniczeń interpretowalności do modeli głębokiego uczenia się, co prowadzi do bardziej przejrzystych obliczeń. Te ograniczenia interpretowalności nie odbyły się kosztem dokładności, nawet w przypadku głębokich sieci neuronowych dla wizji komputerowej.
Ufanie modelowi czarnej skrzynki oznacza, że ufasz nie tylko równaniom modelu, ale także całej bazie danych, z której został zbudowany. Na przykład, w scenariuszu robota i chirurga, nie wiedząc, jak oszacowano 2% i 15%, powinniśmy zakwestionować znaczenie tych liczb dla jakiejkolwiek konkretnej subpopulacji pacjentów medycznych. Każdy rozsądnie złożony zbiór danych, jaki widzieliśmy, zawiera niedoskonałości. Mogą one sięgać od ogromnych ilości brakujących danych (które nie są brakiem losowym), lub niemierzonych czynników zakłócających, do systematycznych błędów w zbiorze danych (np, nieprawidłowe kodowanie terapii lekowych), do problemów związanych z gromadzeniem danych, które powodują, że dystrybucja danych jest inna niż pierwotnie sądziliśmy.
Jednym z takich powszechnych problemów z modelami czarnych skrzynek w warunkach medycznych jest wyciek danych, gdzie niektóre informacje o etykiecie y wkradają się do zmiennych x w sposób, którego nie można podejrzewać patrząc na tytuły i opisy zmiennych: czasami myślisz, że przewidujesz coś w przyszłości, ale wykrywasz tylko coś, co wydarzyło się w przeszłości. W przewidywaniu wyników medycznych, maszyna może wychwycić informacje w notatkach lekarskich, które ujawniają wynik pacjenta zanim zostanie on oficjalnie zarejestrowany i stąd błędnie twierdzić, że są to udane przewidywania.
Próbując liczyć się z powszechnym niepokojem dotyczącym nieprzejrzystości modeli czarnych skrzynek, niektórzy naukowcy próbowali zaoferować ich wyjaśnienia, hipotezy na temat tego, dlaczego podejmują one decyzje, które podejmują. Taki wyjaśnienie zazwyczaj próbować albo mimika the czarna skrzynka przepowiednia using zupełnie inny model (być może z inny znacząco zmienny, maskowanie co the czarna skrzynka móc właściwie robić), lub dostarczać inny statystyka który przynosić niekompletny informacja o the obliczenie the czarna skrzynka. Takie wyjaśnienia są płytkie, a nawet puste, ponieważ rozszerzają autorytet czarnej skrzynki, zamiast uznać, że nie jest ona potrzebna. A czasami te wyjaśnienia są błędne.
Na przykład, kiedy dziennikarze ProPublica próbowali wyjaśnić, co było w zastrzeżonym modelu COMPAS do przewidywania recydywy (Angwin i in., 2016), wydaje się, że błędnie założyli, że jeśli można stworzyć model liniowy, który przybliżał COMPAS i zależał od rasy, wieku i historii kryminalnej, to sam COMPAS musi zależeć od rasy. Jednakże, gdy przybliża się COMPAS za pomocą modelu nieliniowego, jawna zależność od rasy znika (Rudin, Wang, & Coker, 2019), pozostawiając zależność od rasy tylko poprzez wiek i historię kryminalną. Jest to przykład tego, jak nieprawidłowe wyjaśnienie czarnej skrzynki może wymknąć się spod kontroli. Być może, gdyby wymiar sprawiedliwości używał tylko interpretowalnych modeli (które my i inni wykazaliśmy, że są równie dokładne), dziennikarze ProPublica byliby w stanie napisać inną historię. Być może, na przykład, mogliby napisać o tym, jak błędy typograficzne w tych ocenach występują często, bez oczywistego sposobu na ich rozwiązanie, co prowadzi do niespójnego podejmowania decyzji wpływających na życie w systemie wymiaru sprawiedliwości (patrz np. Rudin et al., 2019).
Ale z powrotem na konferencji NeurIPS 2018, w sali pełnej ekspertów, którzy właśnie wybrali robota nad chirurgiem, spiker przystąpił do opisania konkurencji. FICO udostępniło zbiór danych dotyczących linii kredytowej home equity (HELOC), który zawiera dane tysięcy anonimowych osób, w tym aspekty ich historii kredytowej oraz to, czy dana osoba nie spłacała kredytu. Celem konkursu było stworzenie modelu czarnej skrzynki do przewidywania niespłacenia kredytu, a następnie wyjaśnienie czarnej skrzynki.
Można by założyć, że w przypadku konkursu, który wymagał od uczestników stworzenia czarnej skrzynki i wyjaśnienia jej, problem faktycznie wymagałby czarnej skrzynki. Ale tak nie było. Jeszcze w lipcu 2018 roku, kiedy zespół Duke otrzymał dane, po zabawie z nimi przez zaledwie około tydzień, zdaliśmy sobie sprawę, że możemy skutecznie analizować dane FICO bez czarnej skrzynki. Bez względu na to, czy używaliśmy głębokiej sieci neuronowej, czy klasycznych technik statystycznych dla modeli liniowych, stwierdziliśmy, że różnica w dokładności między tymi metodami wynosiła mniej niż 1%, co mieści się w marginesie błędu spowodowanego losowym próbkowaniem danych. Nawet gdy używaliśmy technik uczenia maszynowego, które zapewniały bardzo interpretowalne modele, byliśmy w stanie osiągnąć dokładność, która dorównywała dokładności najlepszego modelu czarnej skrzynki. W tym momencie zastanawialiśmy się, co zrobić. Czy powinniśmy grać zgodnie z zasadami i dostarczyć sędziom czarną skrzynkę i spróbować ją wyjaśnić? Czy może powinniśmy dostarczyć przejrzysty, dający się interpretować model? Innymi słowy, co zrobić, gdy okaże się, że zostaliśmy wepchnięci w fałszywą dychotomię robota i chirurga?
Nasz zespół zdecydował, że w przypadku tak ważnego problemu jak ocena zdolności kredytowej, nie dostarczymy czarnej skrzynki zespołowi sędziowskiemu tylko po to, by ją wyjaśnić. Zamiast tego, stworzyliśmy interpretowalny model, który naszym zdaniem będzie w stanie zrozumieć nawet klient bankowy z niewielkim zapleczem matematycznym. Model można było rozłożyć na różne mini-modele, z których każdy mógł być zrozumiały sam w sobie. Stworzyliśmy również dodatkowe interaktywne narzędzie wizualizacyjne online dla kredytodawców i klientów indywidualnych. Zabawa z czynnikami historii kredytowej na naszej stronie internetowej pozwoliłaby ludziom zrozumieć, które czynniki są ważne dla decyzji o przyznaniu kredytu. Żadnej czarnej skrzynki. Wiedzieliśmy, że prawdopodobnie nie wygramy konkursu w ten sposób, ale chodziło nam o coś więcej.
Można by pomyśleć, że istnieje wiele zastosowań, w których interpretowalne modele nie mogą być tak dokładne jak modele czarnej skrzynki. W końcu, jeśli mógłbyś zbudować dokładny model interpretowalny, dlaczego miałbyś używać czarnej skrzynki? Jednakże, jak pokazało Explainable Machine Learning Challenge, istnieje wiele zastosowań, w których ludzie nie próbują konstruować modeli interpretowalnych, ponieważ mogą wierzyć, że dla złożonego zestawu danych, model interpretowalny nie może być tak dokładny jak czarna skrzynka. A może chcą zachować model jako zastrzeżony. Można wtedy uznać, że jeśli interpretowalne modele głębokiego uczenia mogą być skonstruowane dla wizji komputerowej i analizy szeregów czasowych (np. Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al., 2019), wówczas standard powinien zostać zmieniony z założenia, że interpretowalne modele nie istnieją, na założenie, że istnieją, dopóki nie zostanie udowodnione inaczej.
Ponadto, gdy naukowcy rozumieją, co robią, gdy budują modele, mogą wytwarzać systemy AI, które są w stanie lepiej służyć ludziom, którzy na nich polegają. W tych przypadkach, tak zwany kompromis dokładność-interpretowalność okazuje się być błędem: bardziej interpretowalne modele często stają się bardziej (a nie mniej) dokładne.
Fałszywa dychotomia pomiędzy dokładną czarną skrzynką a niezbyt dokładnym przejrzystym modelem zaszła za daleko. Kiedy setki czołowych naukowców i dyrektorów firm finansowych jest wprowadzanych w błąd przez tę dychotomię, wyobraź sobie, jak reszta świata może być również oszukiwana. Implikacje są głębokie: wpływa to na funkcjonowanie naszego systemu sądownictwa karnego, naszych systemów finansowych, naszych systemów opieki zdrowotnej i wielu innych obszarów. Nalegajmy, abyśmy nie używali modeli uczenia maszynowego w czarnych skrzynkach do podejmowania decyzji o wysokiej stawce, chyba że nie da się skonstruować interpretowalnego modelu, który osiągnie ten sam poziom dokładności. Jest możliwe, że interpretowalny model zawsze da się skonstruować – po prostu nie próbowaliśmy. Być może gdybyśmy to zrobili, nigdy nie używalibyśmy czarnych skrzynek do tych decyzji o wysoką stawkę w ogóle.
Notatki
-
Strona Explainable Machine Learning Challenge jest tutaj: https://community.fico.com/s/explainable-machine-learning-challenge
-
Ten artykuł jest oparty na doświadczeniu Rudina w rywalizacji w 2018 Explainable Machine Learning Challenge.
-
Czytelnicy mogą zagrać z naszym interaktywnym wpisem konkursowym na wyzwanie tutaj: http://dukedatasciencefico.cs.duke.edu
-
Nasza praca rzeczywiście nie wygrała konkursu według oceny organizatorów konkursu. Sędziowie nie mogli w ogóle wejść w interakcję z naszym modelem i jego narzędziem wizualizacyjnym; po upływie terminu zgłoszeń zdecydowano, że sędziom nie zostaną udostępnione żadne interaktywne wizualizacje. Jednak firma FICO przeprowadziła własną, oddzielną ocenę prac konkursowych, a nasza praca została oceniona bardzo dobrze i zdobyła nagrodę FICO Recognition Award w konkursie. Oto ogłoszenie FICO o zwycięzcach:
https://www.fico.com/en/newsroom/fico-announces-winners-of-inaugural-xml-challenge?utm_source=FICO-Community&utm_medium=xml-challenge-page
-
O ile autorom wiadomo, byliśmy jedynym zespołem, który dostarczył interpretowalny model, a nie czarną skrzynkę.
Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M., & Rudin, C. (2018). Learning certifiabiably optimal rule lists for categorical data. Journal of Machine Learning Research, 18(234), 1-78.
Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., & Elhadad, N. (2015). Inteligentne modele dla opieki zdrowotnej: Predicting pneumonia risk and hospital 30-day readmission. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM, Sydney, NSW, Australia, 721-1730.
Chen, C., Li, O., Barnett, A., Su, J., & Rudin, C. (2019). This looks like that: Deep learning for interpretable image recognition. Vancouver, Canada, Advances in Neural Information Processing Systems.
Li, O., Liu, H., Chen, C., & Rudin, C. (2018). Głębokie uczenie dla rozumowania opartego na przypadku poprzez prototypy: Sieć neuronowa, która wyjaśnia swoje przewidywania. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), New Orleans, Louisiana, 3530-3587.
Li, Y., Murias, M., Major, S., Dawson, G., Dzirasa, K., Carin, L., & Carlson, D. E. (2017). Targeting EEG/LFP synchrony with neural nets. Advances in Neural Information Processing Systems, Montreal, Canada, 4620-4630.
Ming, Y., Xu, P., Qu, H., & Ren, L. (2019). Interpretowalne i sterowane uczenie sekwencji poprzez prototypy. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, Alaska, 903-913.
Razavian, N., Blecker, S., Schmidt, A. M., Smith-McLallen, A., Nigam, S., & Sontag, D. (2015). Population-level prediction of Type 2 Diabetes from claims data and analysis of risk factors. Big Data, 3, 277-287.
Angwin, J. and Larson, J. and Mattu, S. and Kirchner, L. Machine Bias. ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, dostęp 2016-5-23.
Rudin, C. (2019). Przestań wyjaśniać modele uczenia maszynowego z czarnymi skrzynkami dla decyzji o wysokiej stawce i zamiast tego użyj interpretowalnych modeli. Nature Machine Intelligence, 1, 206-215.
Rudin, C., & Ustun, B. (2018). Zoptymalizowane systemy scoringowe: Toward trust in machine learning for healthcare and criminal justice. Interfaces, 48, 449-466.
Rudin, C., Wang, C., & Coker, B. (2019). Wiek tajemnicy i nieuczciwości w przewidywaniu recydywy. Harvard Data Science Review (w druku).
Tollenaar, N., & van der Heijden, P. G. M. (2013). Która metoda najlepiej prognozuje recydywę? A comparison of statistical, machine learning and data mining predictive models. Journal of the Royal Statistical Society, Series A: Statistics in Society, 176, 565-584.
Zeng, J., Ustun, B., & Rudin, C. (2016). Interpretowalne modele klasyfikacyjne do predykcji recydywy. Journal of the Royal Statistical Society, Series A: Statistics in Society, 180, 689-722.
This article is © 2019 by Cynthia Rudin and Joanna Radin. Artykuł jest udostępniany na licencji Creative Commons Attribution (CC BY 4.0) International (https://creativecommons.org/licenses/by/4.0/legalcode), z wyjątkiem przypadków, w których wskazano inaczej w odniesieniu do poszczególnych materiałów zawartych w artykule. Artykuł powinien być przypisany autorom określonym powyżej.
.