Warum verwenden wir Black-Box-Modelle in der KI, wenn wir sie nicht brauchen? A Lesson From An Explainable AI Competition

Im Jahr 2018 fand eine wegweisende Herausforderung im Bereich der künstlichen Intelligenz (KI) statt, nämlich die Explainable Machine Learning Challenge. Das Ziel des Wettbewerbs war es, ein kompliziertes Blackbox-Modell für einen Datensatz zu erstellen und zu erklären, wie es funktioniert. Ein Team hat sich nicht an die Regeln gehalten. Anstatt eine Blackbox einzuschicken, erstellte es ein Modell, das vollständig interpretierbar war. Dies wirft die Frage auf, ob die reale Welt des maschinellen Lernens mit der Explainable Machine Learning Challenge vergleichbar ist, bei der Blackbox-Modelle auch dann verwendet werden, wenn sie nicht benötigt werden. Wir erörtern die Denkprozesse dieses Teams während des Wettbewerbs und ihre Auswirkungen, die weit über den Wettbewerb selbst hinausgehen.
Schlüsselwörter: Interpretierbarkeit, Erklärbarkeit, maschinelles Lernen, Finanzen

Im Dezember 2018 drängten sich Hunderte von Spitzeninformatikern, Finanzingenieuren und Führungskräften im Montreal Convention Center auf der jährlichen Konferenz Neural Information Processing Systems (NeurIPS), um die Ergebnisse der Explainable Machine Learning Challenge zu hören, einem renommierten Wettbewerb, der in Zusammenarbeit zwischen Google, der Fair Isaac Corporation (FICO) und Wissenschaftlern in Berkeley, Oxford, Imperial, UC Irvine und MIT organisiert wurde. Dies war der erste datenwissenschaftliche Wettbewerb, der das Bedürfnis widerspiegelte, die Ergebnisse der Black-Box-Modelle, die die auf maschinellem Lernen basierende Entscheidungsfindung dominieren, verständlich zu machen.

In den letzten Jahren haben die Fortschritte beim Deep Learning für Computer Vision zu der weit verbreiteten Überzeugung geführt, dass die genauesten Modelle für jedes beliebige datenwissenschaftliche Problem von Natur aus uninterpretierbar und kompliziert sein müssen. Dieser Glaube rührt von der historischen Verwendung des maschinellen Lernens in der Gesellschaft her: Die modernen Techniken wurden für Entscheidungen mit geringem Risiko entwickelt, wie z. B. Online-Werbung und Websuche, bei denen individuelle Entscheidungen keine tiefgreifenden Auswirkungen auf das Leben der Menschen haben.

Beim maschinellen Lernen werden diese Black-Box-Modelle von einem Algorithmus direkt aus Daten erstellt, was bedeutet, dass Menschen, selbst diejenigen, die sie entwickeln, nicht verstehen können, wie Variablen kombiniert werden, um Vorhersagen zu treffen. Selbst wenn man eine Liste der Eingabevariablen hat, können Blackbox-Vorhersagemodelle so komplizierte Funktionen der Variablen sein, dass kein Mensch verstehen kann, wie die Variablen gemeinsam miteinander in Beziehung stehen, um eine endgültige Vorhersage zu erreichen.

Interpretierbare Modelle, die eine technisch gleichwertige, aber möglicherweise ethischere Alternative zu Blackbox-Modellen darstellen, sind anders – sie sind darauf beschränkt, ein besseres Verständnis dafür zu liefern, wie Vorhersagen gemacht werden. In einigen Fällen kann sehr deutlich gemacht werden, wie die Variablen zusammenhängen, um die endgültige Vorhersage zu bilden, wobei vielleicht nur einige wenige Variablen in einer kurzen logischen Aussage kombiniert werden, oder es wird ein lineares Modell verwendet, bei dem die Variablen gewichtet und addiert werden. Manchmal bestehen interpretierbare Modelle aus einfacheren Modellen, die zusammengesetzt werden (zerlegbar), oder es werden andere Einschränkungen auf das Modell angewendet, um eine neue Ebene der Erkenntnis zu erreichen. Die meisten Modelle des maschinellen Lernens werden jedoch nicht mit dem Ziel der Interpretierbarkeit entwickelt; sie sind lediglich darauf ausgelegt, genaue Vorhersagen für einen statischen Datensatz zu treffen, der nicht unbedingt die Verwendung des Modells in der Praxis widerspiegelt.

Die Annahme, dass die Genauigkeit für die Interpretierbarkeit geopfert werden muss, ist unzutreffend. Sie hat es Unternehmen ermöglicht, proprietäre oder komplizierte Black-Box-Modelle für wichtige Entscheidungen zu vermarkten und zu verkaufen, obwohl es für dieselben Aufgaben sehr einfache, interpretierbare Modelle gibt. Auf diese Weise können die Modellentwickler profitieren, ohne die schädlichen Folgen für die betroffenen Personen zu bedenken. Nur wenige hinterfragen diese Modelle, weil ihre Entwickler behaupten, dass die Modelle kompliziert sein müssen, um genau zu sein. Die Explainable Machine Learning Challenge 2018 dient als Fallstudie, um die Nachteile der Bevorzugung von Blackbox-Modellen gegenüber interpretierbaren Modellen zu untersuchen.

Vor der Bekanntgabe der Gewinner der Challenge wurde das Publikum – bestehend aus führenden Vertretern der Finanzbranche, der Robotik und des maschinellen Lernens – gebeten, sich auf ein Gedankenexperiment einzulassen, bei dem es um eine Krebserkrankung ging, bei der ein Tumor operativ entfernt werden musste. Zwei Bilder wurden auf dem Bildschirm angezeigt. Das eine Bild zeigte einen menschlichen Chirurgen, der alles über die Operation erklären konnte, aber eine 15-prozentige Chance hatte, während des Eingriffs zu sterben. Das andere Bild zeigte einen Roboterarm, der die Operation mit einer Fehlerwahrscheinlichkeit von nur 2 % durchführen konnte. Der Roboter sollte einen Black-Box-Ansatz für künstliche Intelligenz (KI) simulieren. In diesem Szenario war völliges Vertrauen in den Roboter erforderlich; es durften keine Fragen an den Roboter gestellt werden, und es wurde kein spezifisches Verständnis darüber vermittelt, wie er zu seinen Entscheidungen kam. Das Publikum wurde dann gebeten, eine Hand zu heben, um darüber abzustimmen, welche der beiden Personen sie für eine lebensrettende Operation bevorzugen würden. Bis auf eine Hand stimmten alle für den Roboter.

Es mag zwar offensichtlich sein, dass eine Sterblichkeitsrate von 2 % besser ist als eine Sterblichkeitsrate von 15 %, aber wenn man den Einsatz von KI-Systemen auf diese Weise betrachtet, wird eine grundlegendere und interessantere Überlegung verdeckt: Warum muss der Roboter eine Blackbox sein? Würde der Roboter seine Fähigkeit verlieren, präzise Operationen durchzuführen, wenn er die Möglichkeit hätte, sich selbst zu erklären? Würde eine bessere Kommunikation zwischen dem Roboter und dem Patienten oder einem Arzt die Patientenversorgung nicht verbessern, anstatt sie zu verschlechtern? Müsste der Patient nicht in der Lage sein, dem Roboter vor der Operation zu erklären, dass er an einer Blutgerinnungsstörung leidet?

Diese Möglichkeit, dass der Roboter keine Blackbox sein muss, wurde nicht als Option vorgestellt, und den Teilnehmern des Workshops wurde nur die Wahl zwischen der genauen Blackbox und der ungenauen Glasbox gelassen. Die Teilnehmer wurden weder darüber informiert, wie die Genauigkeit der chirurgischen Ergebnisse gemessen wurde (an welcher Population wurden die 2 % und 15 % gemessen?), noch wurden sie über mögliche Fehler in dem Datensatz informiert, der zum Trainieren des Roboters verwendet wurde. Bei der Annahme, dass die Genauigkeit auf Kosten der Interpretierbarkeit gehen muss (die Fähigkeit zu verstehen, warum der Chirurg das tut, was er tut), wurde in diesem Gedankenexperiment nicht berücksichtigt, dass die Interpretierbarkeit der Genauigkeit nicht schaden muss. Die Interpretierbarkeit könnte die Genauigkeit sogar verbessern, da sie ein Verständnis dafür ermöglicht, wann das Modell, in diesem Fall ein Roboterchirurg, falsch sein könnte.

Die Frage, ob man sich für eine genaue Maschine oder einen verständlichen Menschen entscheiden soll, ist eine falsche Dichotomie. Sie als solche zu verstehen, hilft uns, die Probleme zu erkennen, die sich aus der Verwendung von Black-Box-Modellen für wichtige Entscheidungen in der Gesellschaft ergeben haben. Diese Probleme gibt es im Finanzwesen, aber auch im Gesundheitswesen, in der Strafjustiz und darüber hinaus.

Lassen Sie uns einige Beweise dafür anführen, dass diese Annahme (dass wir immer etwas Interpretierbarkeit opfern müssen, um das genaueste Modell zu erhalten) falsch ist. In der Strafjustiz hat sich wiederholt gezeigt (Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016), dass komplizierte Black-Box-Modelle zur Vorhersage künftiger Verhaftungen nicht genauer sind als sehr einfache Vorhersagemodelle, die auf Alter und Vorstrafen basieren. Ein interpretierbares maschinelles Lernmodell zur Vorhersage einer erneuten Verhaftung, das in der Arbeit von Angelino et al. (2018) erstellt wurde, berücksichtigt beispielsweise nur einige wenige Regeln zum Alter und zur Vorgeschichte einer Person. Das vollständige maschinelle Lernmodell sieht wie folgt aus: Wenn die Person entweder >3 frühere Straftaten begangen hat oder 18-20 Jahre alt und männlich ist oder 21-23 Jahre alt ist und zwei oder drei frühere Straftaten begangen hat, wird vorhergesagt, dass sie innerhalb von zwei Jahren nach ihrer Beurteilung erneut verhaftet wird, und ansonsten nicht. Auch wenn wir nicht unbedingt dafür plädieren, dieses spezielle Modell in der Strafjustiz zu verwenden, ist dieses Regelwerk genauso genau wie das weit verbreitete (und proprietäre) Black-Box-Modell namens COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), das in Broward County, Florida, verwendet wird (Angelino et al., 2018).

Das obige einfache Modell ist auch genauso genau wie viele andere moderne maschinelle Lernmethoden (Angelino et al., 2018). Ähnliche Ergebnisse wurden bei maschinellen Lernmethoden gefunden, die auf viele verschiedene Arten von Wiederholungsvorhersageproblemen auf anderen Datensätzen angewandt wurden: die interpretierbaren Modelle (bei denen es sich in diesen Studien um sehr kleine lineare Modelle oder logische Modelle handelte) schnitten genauso gut ab wie die komplizierteren (Blackbox-)maschinellen Lernmodelle (Zeng et al., 2016). Die Verwendung von Black-Box-Modellen für die Vorhersage von Kriminalitätsrisiken scheint nicht von Vorteil zu sein. Es könnte sogar Nachteile geben, da diese Blackbox-Modelle schwieriger zu beheben, zu vertrauen und zu verwenden sind.

Es scheint auch keinen Genauigkeitsvorteil für Blackbox-Modelle in verschiedenen Bereichen des Gesundheitswesens und in vielen anderen wichtigen Anwendungen des maschinellen Lernens zu geben, in denen lebensverändernde Entscheidungen getroffen werden (z. B., Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018, die alle zeigen, dass Modelle mit Interpretierbarkeitsbeschränkungen genauso gut funktionieren wie Modelle ohne Beschränkungen). Im Gegenteil, Black-Box-Modelle können eine Vielzahl möglicher schwerwiegender Fehler verbergen (siehe z. B. Rudin, 2019). Sogar im Bereich des Computersehens, wo tiefe neuronale Netze (die am schwierigsten zu erklärende Art von Black-Box-Modellen) den Stand der Technik darstellen, haben wir und andere Wissenschaftler (z. B. Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019) Wege gefunden, Interpretierbarkeitsbeschränkungen zu tiefen Lernmodellen hinzuzufügen, was zu transparenteren Berechnungen führt. Diese Interpretierbarkeitsbeschränkungen gehen nicht auf Kosten der Genauigkeit, auch nicht bei tiefen neuronalen Netzen für die Computer Vision.

Einem Black-Box-Modell zu vertrauen bedeutet, dass man nicht nur den Gleichungen des Modells vertraut, sondern auch der gesamten Datenbank, aus der es erstellt wurde. Im Fall des Roboters und des Chirurgen beispielsweise sollten wir, ohne zu wissen, wie die 2 % und 15 % geschätzt wurden, die Relevanz dieser Zahlen für eine bestimmte Untergruppe von Patienten in Frage stellen. Jeder einigermaßen komplexe Datensatz, den wir gesehen haben, enthält Unvollkommenheiten. Diese können von riesigen Mengen fehlender Daten (die nicht zufällig fehlen) über nicht gemessene Störfaktoren bis hin zu systematischen Fehlern im Datensatz (z. B.,

Ein häufiges Problem bei Black-Box-Modellen im medizinischen Bereich ist das Datenleck, bei dem sich einige Informationen über die Bezeichnung y in die Variablen x einschleichen, ohne dass man dies anhand der Titel und Beschreibungen der Variablen vermuten würde: Manchmal denkt man, dass man etwas in der Zukunft vorhersagt, aber man erkennt nur etwas, das in der Vergangenheit passiert ist. Bei der Vorhersage medizinischer Ergebnisse könnte die Maschine Informationen in den Aufzeichnungen der Ärzte aufgreifen, die das Ergebnis des Patienten verraten, bevor es offiziell aufgezeichnet wird, und diese fälschlicherweise als erfolgreiche Vorhersagen deklarieren.

In dem Versuch, der weit verbreiteten Besorgnis über die Undurchsichtigkeit von Black-Box-Modellen Rechnung zu tragen, haben einige Wissenschaftler versucht, Erklärungen für diese Modelle anzubieten, Hypothesen darüber, warum sie zu den Entscheidungen kommen, die sie treffen. Solche Erklärungen versuchen in der Regel entweder, die Vorhersagen der Blackbox mit einem völlig anderen Modell nachzuahmen (vielleicht mit anderen wichtigen Variablen, die verschleiern, was die Blackbox tatsächlich tut), oder sie liefern eine andere Statistik, die unvollständige Informationen über die Berechnung der Blackbox liefert. Solche Erklärungen sind oberflächlich oder sogar hohl, da sie die Autorität der Blackbox ausweiten, anstatt zu erkennen, dass sie nicht notwendig ist. Und manchmal sind diese Erklärungen falsch.

Als die Journalisten von ProPublica beispielsweise versuchten zu erklären, was in dem proprietären COMPAS-Modell für die Rückfallprognose (Angwin et al., 2016) enthalten ist, scheinen sie fälschlicherweise angenommen zu haben, dass, wenn man ein lineares Modell erstellen könnte, das COMPAS annähert und von Rasse, Alter und Vorstrafen abhängt, COMPAS selbst von der Rasse abhängen muss. Wenn man COMPAS jedoch mit einem nichtlinearen Modell approximiert, verschwindet die explizite Abhängigkeit von der Rasse (Rudin, Wang, & Coker, 2019), so dass die Abhängigkeit von der Rasse nur noch durch Alter und Vorstrafen gegeben ist. Dies ist ein Beispiel dafür, wie eine falsche Erklärung für eine Blackbox außer Kontrolle geraten kann. Hätte das Justizsystem nur interpretierbare Modelle verwendet (von denen wir und andere gezeigt haben, dass sie ebenso genau sind), hätten die Journalisten von ProPublica vielleicht eine andere Geschichte schreiben können. Vielleicht hätten sie zum Beispiel darüber schreiben können, wie häufig Tippfehler in diesen Scores auftreten, ohne dass es eine offensichtliche Möglichkeit gibt, sie zu beheben, was zu inkonsistenten, lebensverändernden Entscheidungen im Justizsystem führt (siehe z. B. Rudin et al., 2019).

Aber zurück auf der NeurIPS-Konferenz 2018, in dem Raum voller Experten, die sich gerade für den Roboter statt für den Chirurgen entschieden hatten, fuhr der Sprecher fort, den Wettbewerb zu beschreiben. Die FICO hatte einen HELOC-Datensatz (Home Equity Line of Credit) zur Verfügung gestellt, der Daten von Tausenden von anonymen Einzelpersonen enthält, einschließlich Aspekten ihrer Kredithistorie und der Frage, ob die Person mit dem Kredit in Verzug ist oder nicht. Ziel des Wettbewerbs war es, ein Blackbox-Modell für die Vorhersage von Kreditausfällen zu erstellen und die Blackbox zu erklären.

Man würde annehmen, dass für einen Wettbewerb, bei dem die Teilnehmer eine Blackbox erstellen und erklären müssen, das Problem tatsächlich eine Blackbox benötigt. Doch das war nicht der Fall. Als das Duke-Team im Juli 2018 die Daten erhielt, stellten wir nach nur etwa einer Woche Spielzeit fest, dass wir die FICO-Daten auch ohne Blackbox effektiv analysieren konnten. Unabhängig davon, ob wir ein tiefes neuronales Netzwerk oder klassische statistische Techniken für lineare Modelle verwendeten, stellten wir fest, dass es weniger als 1 % Unterschied in der Genauigkeit zwischen den Methoden gab, was innerhalb der Fehlermarge liegt, die durch die Zufallsstichprobe der Daten verursacht wird. Selbst wenn wir Techniken des maschinellen Lernens einsetzten, die sehr interpretierbare Modelle lieferten, konnten wir eine Genauigkeit erreichen, die der des besten Black-Box-Modells entsprach. An diesem Punkt waren wir uns nicht sicher, was wir tun sollten. Sollten wir uns an die Regeln halten und den Richtern eine Blackbox vorlegen und versuchen, sie zu erklären? Oder sollten wir das transparente, interpretierbare Modell vorlegen? Mit anderen Worten, was macht man, wenn man in die falsche Dichotomie von Roboter und Chirurg gedrängt wird?

Unser Team beschloss, dass wir bei einem so wichtigen Problem wie der Kreditwürdigkeitsprüfung den Preisrichtern keine Blackbox zur Verfügung stellen würden, nur um sie zu erklären. Stattdessen schufen wir ein interpretierbares Modell, von dem wir annahmen, dass es auch ein Bankkunde mit wenig mathematischem Hintergrund verstehen würde. Das Modell war in verschiedene Mini-Modelle zerlegbar, von denen jedes für sich verständlich war. Außerdem haben wir ein zusätzliches interaktives Online-Visualisierungstool für Kreditgeber und Privatpersonen entwickelt. Indem sie mit den Faktoren der Kreditgeschichte auf unserer Website spielen, können sie verstehen, welche Faktoren für die Entscheidung über einen Kreditantrag wichtig sind. Ganz ohne Blackbox. Wir wussten, dass wir den Wettbewerb auf diese Weise wahrscheinlich nicht gewinnen würden, aber es gab einen wichtigeren Punkt, den wir klären mussten.

Man könnte meinen, dass es viele Anwendungen gibt, bei denen interpretierbare Modelle unmöglich so genau sein können wie Blackbox-Modelle. Denn wenn man ein genaues interpretierbares Modell erstellen kann, warum sollte man dann eine Blackbox verwenden? Wie die Explainable Machine Learning Challenge jedoch gezeigt hat, gibt es tatsächlich viele Anwendungen, bei denen man nicht versucht, ein interpretierbares Modell zu erstellen, weil man vielleicht glaubt, dass ein interpretierbares Modell bei einem komplexen Datensatz unmöglich so genau sein kann wie eine Blackbox. Oder man möchte das Modell als proprietäres Modell erhalten. Wenn interpretierbare Deep-Learning-Modelle für Computer Vision und Zeitreihenanalyse erstellt werden können (z. B. Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al, 2019), dann sollte der Standard von der Annahme, dass interpretierbare Modelle nicht existieren, zu der Annahme geändert werden, dass sie existieren, bis das Gegenteil bewiesen ist.

Weiterhin können Wissenschaftler, wenn sie verstehen, was sie tun, wenn sie Modelle erstellen, KI-Systeme produzieren, die besser in der Lage sind, den Menschen zu dienen, die sich auf sie verlassen. In diesen Fällen erweist sich der so genannte Kompromiss zwischen Genauigkeit und Interpretierbarkeit als Trugschluss: besser interpretierbare Modelle sind oft genauer (und nicht weniger genau).

Die falsche Dichotomie zwischen der genauen Blackbox und dem weniger genauen transparenten Modell ist zu weit gegangen. Wenn Hunderte von führenden Wissenschaftlern und Führungskräften von Finanzunternehmen durch diese Dichotomie in die Irre geführt werden, kann man sich vorstellen, wie der Rest der Welt ebenfalls getäuscht werden könnte. Die Auswirkungen sind tiefgreifend: Sie betreffen das Funktionieren unseres Strafrechtssystems, unserer Finanzsysteme, unserer Gesundheitssysteme und vieler anderer Bereiche. Wir sollten darauf bestehen, dass wir für wichtige Entscheidungen keine Blackbox-Modelle für maschinelles Lernen verwenden, es sei denn, es kann kein interpretierbares Modell konstruiert werden, das den gleichen Grad an Genauigkeit erreicht. Es ist möglich, dass ein interpretierbares Modell immer konstruiert werden kann – wir haben es nur noch nicht versucht. Wenn wir das täten, würden wir vielleicht überhaupt keine Black Boxes für diese wichtigen Entscheidungen verwenden.

Hinweise

1. Die Website der Explainable Machine Learning Challenge finden Sie hier: https://community.fico.com/s/explainable-machine-learning-challenge

2. Dieser Artikel basiert auf Rudins Erfahrungen bei der Explainable Machine Learning Challenge 2018.

3. Leser können hier mit unserem interaktiven Wettbewerbsbeitrag für die Challenge spielen: http://dukedatasciencefico.cs.duke.edu

4. Unser Beitrag hat den Wettbewerb tatsächlich nicht gewonnen, wie die Organisatoren des Wettbewerbs urteilten. Den Juroren war es nicht gestattet, mit unserem Modell und seinem Visualisierungstool zu interagieren; nach Ablauf der Einreichungsfrist wurde beschlossen, dass den Juroren keine interaktiven Visualisierungen zur Verfügung gestellt werden sollten. FICO führte jedoch eine separate Bewertung der Wettbewerbsbeiträge durch, und unser Beitrag schnitt in dieser Bewertung gut ab und erhielt den FICO Recognition Award für den Wettbewerb. Hier ist die Bekanntgabe der Gewinner durch FICO:

   https://www.fico.com/en/newsroom/fico-announces-winners-of-inaugural-xml-challenge?utm_source=FICO-Community&utm_medium=xml-challenge-page

5. Soweit den Autoren bekannt ist, waren wir das einzige Team, das ein interpretierbares Modell und keine Blackbox geliefert hat.

Angelino, E., Larus-Stein, N., Alabi, D., Seltzer, M., & Rudin, C. (2018). Learning certifiably optimal rule lists for categorical data. Journal of Machine Learning Research, 18(234), 1-78.

Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., & Elhadad, N. (2015). Intelligente Modelle für das Gesundheitswesen: Predicting pneumonia risk and hospital 30-day readmission. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM, Sydney, NSW, Australia, 721-1730.

Chen, C., Li, O., Barnett, A., Su, J., & Rudin, C. (2019). This looks like that: Deep Learning für interpretierbare Bilderkennung. Vancouver, Canada, Advances in Neural Information Processing Systems.

Li, O., Liu, H., Chen, C., & Rudin, C. (2018). Deep Learning für fallbasiertes Schlussfolgern durch Prototypen: Ein neuronales Netzwerk, das seine Vorhersagen erklärt. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), New Orleans, Louisiana, 3530-3587.

Li, Y., Murias, M., Major, S., Dawson, G., Dzirasa, K., Carin, L., & Carlson, D. E. (2017). Targeting EEG/LFP synchrony with neural nets. Advances in Neural Information Processing Systems, Montreal, Canada, 4620-4630.

Ming, Y., Xu, P., Qu, H., & Ren, L. (2019). Interpretierbares und steuerbares Sequenzlernen über Prototypen. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, Alaska, 903-913.

Razavian, N., Blecker, S., Schmidt, A. M., Smith-McLallen, A., Nigam, S., & Sontag, D. (2015). Vorhersage von Typ-2-Diabetes auf Bevölkerungsebene anhand von Leistungsdaten und Analyse von Risikofaktoren. Big Data, 3, 277-287.

Angwin, J. und Larson, J. und Mattu, S. und Kirchner, L. Machine Bias. ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, abgerufen am 23.5.2016.

Rudin, C. (2019). Hören Sie auf, Blackbox-Modelle des maschinellen Lernens für Entscheidungen mit hohem Einsatz zu erklären und verwenden Sie stattdessen interpretierbare Modelle. Nature Machine Intelligence, 1, 206-215.

Rudin, C., & Ustun, B. (2018). Optimized scoring systems: Toward trust in machine learning for healthcare and criminal justice. Interfaces, 48, 449-466.

Rudin, C., Wang, C., & Coker, B. (2019). Das Zeitalter der Geheimhaltung und Unfairness in der Rückfallprognose. Harvard Data Science Review (in press).

Tollenaar, N., & van der Heijden, P. G. M. (2013). Welche Methode sagt Rückfälligkeit am besten voraus? Ein Vergleich von statistischen, maschinellen Lern- und Data-Mining-Vorhersagemodellen. Journal of the Royal Statistical Society, Series A: Statistics in Society, 176, 565-584.

Zeng, J., Ustun, B., & Rudin, C. (2016). Interpretierbare Klassifikationsmodelle für die Rückfallprognose. Journal of the Royal Statistical Society, Series A: Statistics in Society, 180, 689-722.

Dieser Artikel ist © 2019 von Cynthia Rudin und Joanna Radin. Der Artikel ist lizenziert unter einer Creative Commons Attribution (CC BY 4.0) International Lizenz (https://creativecommons.org/licenses/by/4.0/legalcode), es sei denn, es ist anders angegeben in Bezug auf bestimmtes Material, das im Artikel enthalten ist. Der Artikel sollte den oben genannten Autoren zugeschrieben werden.