Why Are We Using Black Box Models in AI When We Don’t Need To? A Lesson From An Explainable AI Competition

In 2018 vond een mijlpaal challenge in kunstmatige intelligentie (AI) plaats, namelijk de Explainable Machine Learning Challenge. Het doel van de wedstrijd was om een ingewikkeld black box model te maken voor de dataset en uit te leggen hoe het werkte. Eén team hield zich niet aan de regels. In plaats van een black box in te sturen, creëerden ze een model dat volledig uitlegbaar was. Dit leidt tot de vraag of de echte wereld van machine learning vergelijkbaar is met de Explainable Machine Learning Challenge, waar black box-modellen worden gebruikt, zelfs als ze niet nodig zijn. We bespreken de denkprocessen van dit team tijdens de wedstrijd en de implicaties ervan, die veel verder reiken dan de wedstrijd zelf.
Keywords: interpreteerbaarheid, verklaarbaarheid, machine learning, financiën

In december 2018 propten honderden topcomputerwetenschappers, financiële ingenieurs en leidinggevenden zich in een zaal binnen het Montreal Convention Center op de jaarlijkse Neural Information Processing Systems (NeurIPS) conferentie om de resultaten te horen van de Explainable Machine Learning Challenge, een prestigieuze wedstrijd die gezamenlijk werd georganiseerd door Google, de Fair Isaac Corporation (FICO), en academici van Berkeley, Oxford, Imperial, UC Irvine, en MIT. Dit was de eerste data science-wedstrijd die de behoefte weerspiegelde om zin te geven aan uitkomsten die zijn berekend door de black box-modellen die de op machine learning gebaseerde besluitvorming domineren.

De afgelopen jaren hebben de vorderingen op het gebied van deep learning voor computervisie geleid tot de wijdverbreide overtuiging dat de meest nauwkeurige modellen voor een gegeven data science-probleem inherent oninterpreteerbaar en gecompliceerd moeten zijn. Deze overtuiging komt voort uit het historische gebruik van machine learning in de samenleving: de moderne technieken ervan zijn geboren en gekweekt voor beslissingen waarbij weinig op het spel staat, zoals online adverteren en zoeken op het web, waarbij individuele beslissingen geen diepe gevolgen hebben voor mensenlevens.

In machine learning worden deze black box-modellen rechtstreeks uit gegevens gecreëerd door een algoritme, wat betekent dat mensen, zelfs degenen die ze ontwerpen, niet kunnen begrijpen hoe variabelen worden gecombineerd om voorspellingen te doen. Zelfs als men een lijst van de inputvariabelen heeft, kunnen black box voorspellende modellen zulke ingewikkelde functies van de variabelen zijn dat geen mens kan begrijpen hoe de variabelen samenhangen om tot een uiteindelijke voorspelling te komen.

Interpretabele modellen, die een technisch gelijkwaardig, maar mogelijk ethischer alternatief bieden voor black box modellen, zijn anders – zij worden beperkt om een beter inzicht te verschaffen in de manier waarop voorspellingen tot stand komen. In sommige gevallen kan heel duidelijk worden gemaakt hoe variabelen samenhangen om de uiteindelijke voorspelling te vormen, waarbij misschien slechts een paar variabelen worden gecombineerd in een korte logische verklaring, of met behulp van een lineair model, waarbij variabelen worden gewogen en bij elkaar opgeteld. Soms bestaan interpreteerbare modellen uit eenvoudiger modellen die worden samengevoegd (decomposable), of worden andere beperkingen aan het model opgelegd om een nieuw niveau van inzicht toe te voegen. De meeste modellen voor machinaal leren zijn echter niet ontworpen met interpreteerbaarheidsbeperkingen; ze zijn gewoon ontworpen om nauwkeurige voorspellers te zijn op een statische dataset die al dan niet weergeeft hoe het model in de praktijk zou worden gebruikt.

De overtuiging dat nauwkeurigheid moet worden opgeofferd voor interpreteerbaarheid is onnauwkeurig. Het heeft bedrijven in staat gesteld propriëtaire of ingewikkelde black box-modellen op de markt te brengen en te verkopen voor beslissingen waar veel op het spel staat, terwijl er voor dezelfde taken zeer eenvoudige interpreteerbare modellen bestaan. Op die manier kunnen de makers van het model winst maken zonder rekening te houden met de schadelijke gevolgen voor de betrokken personen. Weinigen stellen deze modellen in vraag omdat hun ontwerpers beweren dat de modellen ingewikkeld moeten zijn om accuraat te zijn. De 2018 Explainable Machine Learning Challenge dient als een casestudy voor het overwegen van de afwegingen van het verkiezen van black box-modellen boven interpreteerbare modellen.

Voordat de winnaars van de uitdaging bekend werden gemaakt, werd het publiek – bestaande uit machtige spelers op het gebied van financiën, robotica en machine learning – gevraagd om deel te nemen aan een gedachte-experiment waarbij ze kanker hadden en een operatie nodig hadden om een tumor te verwijderen. Twee beelden werden op het scherm getoond. Het ene beeld toonde een menselijke chirurg, die alles over de operatie kon uitleggen, maar 15% kans had om tijdens de operatie de dood te veroorzaken. Het andere beeld toonde een robotarm die de operatie kon uitvoeren met slechts 2% kans op mislukking. De robot was bedoeld om een black box benadering van kunstmatige intelligentie (AI) te simuleren. In dit scenario was volledig vertrouwen in de robot vereist; er mochten geen vragen aan de robot worden gesteld en er zou geen specifiek inzicht worden gegeven in hoe de robot tot zijn beslissingen was gekomen. Het publiek werd vervolgens gevraagd een hand op te steken om te stemmen op welke van de twee zij de voorkeur zouden geven om een levensreddende operatie uit te voeren. Op één hand na stemde iedereen voor de robot.

Hoewel het voor de hand lijkt te liggen dat een kans van 2% op sterfte beter is dan een kans van 15% op sterfte, verhult het op deze manier framen van de inzet van AI-systemen een meer fundamentele en interessante overweging: Waarom moet de robot een zwarte doos zijn? Zou de robot zijn vermogen om nauwkeurig te opereren verliezen als hij in staat zou zijn om zichzelf uit te leggen? Zou een betere communicatie tussen de robot en de patiënt, of een arts, de zorg voor de patiënt niet verbeteren in plaats van verminderen? Zou de patiënt de robot niet moeten kunnen uitleggen dat hij een bloedstollingsstoornis heeft vóór de operatie?

Deze mogelijkheid, dat de robot geen zwarte doos hoeft te zijn, werd niet als optie gepresenteerd, en het publiek van de workshop kreeg alleen de keuze tussen de nauwkeurige zwarte doos en de onnauwkeurige glazen doos. Het publiek werd niet verteld hoe de nauwkeurigheid van de chirurgische uitkomsten werd gemeten (op welke populatie werden de 2% en 15% gemeten?) en evenmin werd hen verteld over mogelijke gebreken in de dataset die werd gebruikt om de robot te trainen. Door aan te nemen dat nauwkeurigheid ten koste moet gaan van de interpreteerbaarheid (het vermogen om te begrijpen waarom de chirurg doet wat hij doet), heeft dit mentale experiment niet overwogen dat interpreteerbaarheid de nauwkeurigheid misschien niet schaadt. Interpreteerbaarheid zou de nauwkeurigheid zelfs kunnen verbeteren, omdat het ons in staat stelt te begrijpen wanneer het model, in dit geval een robotchirurg, onjuist zou kunnen zijn.

Worden we gevraagd te kiezen tussen een nauwkeurige machine of een begrijpelijke mens, dan is dat een valse dichotomie. Als we het als zodanig begrijpen, kunnen we een diagnose stellen van de problemen die het gevolg zijn van het gebruik van black box-modellen voor belangrijke beslissingen in de samenleving. Deze problemen doen zich voor in de financiële wereld, maar ook in de gezondheidszorg, het strafrecht en daarbuiten.

Laten we enkele bewijzen geven dat deze veronderstelling (dat we altijd enige interpreteerbaarheid moeten opofferen om het meest nauwkeurige model te krijgen) onjuist is. In het strafrecht is herhaaldelijk aangetoond (Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016) dat ingewikkelde black box modellen voor het voorspellen van toekomstige arrestatie niet nauwkeuriger zijn dan zeer eenvoudige voorspellende modellen op basis van leeftijd en criminele geschiedenis. Bijvoorbeeld, een interpreteerbaar machine learning model voor het voorspellen van heraanhouding gemaakt in werk van Angelino et al. (2018), beschouwt slechts een paar regels over iemands leeftijd en criminele geschiedenis. Het volledige machine learning-model is als volgt: als de persoon >3 eerdere misdrijven heeft, of 18-20 jaar oud is en man, of 21-23 jaar oud is en twee of drie eerdere misdrijven heeft, wordt voorspeld dat ze binnen twee jaar na hun evaluatie opnieuw worden gearresteerd, en anders niet. Hoewel we niet noodzakelijkerwijs pleiten voor het gebruik van dit specifieke model in strafrechtelijke settings, is deze set regels net zo nauwkeurig als het veelgebruikte (en gepatenteerde) black box-model genaamd COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), zoals gebruikt in Broward County, Florida (Angelino et al., 2018).

Het eenvoudige model hierboven is ook net zo nauwkeurig als veel andere state-of-the-art machine learning-methoden (Angelino et al., 2018). Vergelijkbare resultaten werden gevonden over machine-leermethoden toegepast op veel verschillende soorten rearrest-voorspellingsproblemen op andere datasets: de interpreteerbare modellen (die in deze studies zeer kleine lineaire modellen of logische modellen waren) presteerden net zo goed als de meer gecompliceerde (black box) machine-leermodellen (Zeng et al., 2016). Er lijkt geen bewijs te zijn voor een voordeel van het gebruik van black box modellen voor criminele risicovoorspelling. Sterker nog, er kunnen nadelen zijn in die zin dat deze black boxes moeilijker zijn om problemen op te lossen, te vertrouwen en te gebruiken.

Er lijkt ook geen voordeel te zijn in nauwkeurigheid voor black box-modellen in verschillende gezondheidszorgdomeinen en in veel andere machine learning-toepassingen met een hoge inzet waarbij levensveranderende beslissingen worden genomen (bijv, Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018, die allemaal modellen met interpreteerbaarheidsbeperkingen laten zien die net zo goed presteren als niet-beperkte modellen). Integendeel, black box modellen kunnen een myriade aan mogelijke ernstige fouten maskeren (zie bijvoorbeeld Rudin, 2019). Zelfs in computervisie, waar diepe neurale netwerken (het moeilijkst uit te leggen soort black box-model) de state-of-the-art zijn, hebben wij en andere wetenschappers (bijv. Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019) manieren gevonden om interpreteerbaarheidsbeperkingen toe te voegen aan deep learning-modellen, wat tot transparantere berekeningen leidt. Deze interpreteerbaarheidsbeperkingen zijn niet ten koste gegaan van de nauwkeurigheid, zelfs niet voor diepe neurale netwerken voor computervisie.

Trouwen op een black box-model betekent dat je niet alleen de vergelijkingen van het model vertrouwt, maar ook de hele database waaruit het is opgebouwd. In het scenario van de robot en de chirurg bijvoorbeeld, moeten we, zonder te weten hoe de 2% en 15% zijn geschat, vraagtekens zetten bij de relevantie van deze getallen voor een bepaalde subpopulatie van medische patiënten. Elke redelijk complexe dataset die we hebben gezien bevat onvolkomenheden. Deze kunnen variëren van enorme hoeveelheden ontbrekende gegevens (die niet willekeurig ontbreken), of niet gemeten confounding, tot systematische fouten in de dataset (bv, onjuiste codering van medicamenteuze behandelingen), tot problemen met de gegevensverzameling waardoor de verdeling van de gegevens anders is dan we oorspronkelijk dachten.

Een dergelijk veel voorkomend probleem met black box-modellen in medische settings is datalekken, waarbij informatie over het label y in de variabelen x sluipt op een manier die je misschien niet vermoedt door naar de titels en beschrijvingen van de variabelen te kijken: soms denk je dat je iets in de toekomst voorspelt, maar je detecteert alleen iets dat in het verleden is gebeurd. Bij het voorspellen van medische resultaten zou de machine informatie kunnen oppikken in aantekeningen van artsen die de uitkomst van de patiënt onthullen voordat deze officieel is vastgelegd, en deze derhalve ten onrechte als succesvolle voorspellingen aanmerken.

In een poging rekening te houden met de wijdverbreide bezorgdheid over de ondoorzichtigheid van black box-modellen hebben sommige wetenschappers geprobeerd er verklaringen voor te geven, hypothesen over waarom zij tot de beslissingen komen die zij doen. Dergelijke verklaringen proberen gewoonlijk ofwel de voorspellingen van de zwarte doos na te bootsen met behulp van een volledig ander model (misschien met andere belangrijke variabelen, die verhullen wat de zwarte doos eigenlijk zou kunnen doen), of zij geven een andere statistiek die onvolledige informatie geeft over de berekening van de zwarte doos. Dergelijke verklaringen zijn oppervlakkig, of zelfs hol, omdat zij de autoriteit van de zwarte doos uitbreiden in plaats van te erkennen dat die niet nodig is. En soms zijn deze verklaringen verkeerd.

Toen de journalisten van ProPublica bijvoorbeeld probeerden uit te leggen wat er in het eigen COMPAS-model voor recidivevoorspelling zat (Angwin et al., 2016), lijken ze ten onrechte te hebben aangenomen dat als men een lineair model kon maken dat COMPAS benaderde en afhankelijk was van ras, leeftijd en criminele geschiedenis, dat COMPAS zelf afhankelijk moest zijn van ras. Echter, wanneer men COMPAS benadert met behulp van een niet-lineair model, verdwijnt de expliciete afhankelijkheid van ras (Rudin, Wang, & Coker, 2019), waardoor de afhankelijkheid van ras alleen via leeftijd en strafblad overblijft. Dit is een voorbeeld van hoe een onjuiste uitleg van een zwarte doos uit de hand kan lopen. Misschien als justitie alleen interpreteerbare modellen had gebruikt (waarvan wij en anderen hebben aangetoond dat ze even accuraat zijn), hadden de journalisten van ProPublica een ander verhaal kunnen schrijven. Misschien zouden ze bijvoorbeeld kunnen schrijven over hoe typografische fouten in deze scores vaak voorkomen, zonder voor de hand liggende manier om ze op te lossen, wat leidt tot inconsistente levensveranderende besluitvorming in het rechtssysteem (zie bijvoorbeeld Rudin et al., 2019).

Maar terug op de 2018 NeurIPS-conferentie, in de zaal vol experts die zojuist de robot boven de chirurg hadden verkozen, ging de omroeper verder met het beschrijven van de concurrentie. De FICO had een home equity line of credit (HELOC) dataset verstrekt, die gegevens bevat van duizenden anonieme individuen, inclusief aspecten van hun kredietgeschiedenis en of het individu al dan niet in gebreke is gebleven op de lening. Het doel van de wedstrijd was een black box model te maken voor het voorspellen van wanbetaling op leningen, en vervolgens de black box uit te leggen.

Je zou denken dat voor een wedstrijd waarbij deelnemers een black box moeten maken en uitleggen, het probleem ook echt een black box nodig zou hebben. Maar dat was niet het geval. Terug in juli van 2018, toen het Duke-team de gegevens ontving, realiseerden we ons, na er slechts een week of zo mee te hebben gespeeld, dat we de FICO-gegevens effectief konden analyseren zonder een zwarte doos. Het maakte niet uit of we een diep neuraal netwerk of klassieke statistische technieken voor lineaire modellen gebruikten, we ontdekten dat er minder dan 1% verschil in nauwkeurigheid was tussen de methoden, wat binnen de foutmarge ligt die wordt veroorzaakt door willekeurige steekproeven van de gegevens. Zelfs wanneer we technieken voor machinaal leren gebruikten die zeer interpreteerbare modellen opleverden, konden we een nauwkeurigheid bereiken die overeenkwam met die van het beste black box model. Op dat moment vroegen we ons af wat we moesten doen. Moesten we ons aan de regels houden en een black box aan de jury voorleggen en proberen het uit te leggen? Of moesten we het transparante, interpreteerbare model leveren? Met andere woorden, wat doe je als je merkt dat je in de valse dichotomie van de robot en de chirurg bent gedwongen?

Ons team besloot dat we voor een zo belangrijk probleem als kredietscores geen black box aan het juryteam zouden geven alleen maar om het uit te leggen. In plaats daarvan creëerden we een interpreteerbaar model waarvan we dachten dat zelfs een bankcliënt met weinig wiskundige achtergrond het zou kunnen begrijpen. Het model kon worden onderverdeeld in verschillende minimodellen, die elk op zich konden worden begrepen. We hebben ook een extra interactieve online visualisatietool gemaakt voor kredietverstrekkers en particulieren. Door op onze website met de krediethistoriefactoren te spelen, konden mensen begrijpen welke factoren belangrijk waren voor beslissingen over een leningaanvraag. Helemaal geen black box. We wisten dat we op die manier de competitie waarschijnlijk niet zouden winnen, maar er was een groter punt dat we moesten maken.

Je zou kunnen denken dat er een heleboel toepassingen zijn waarbij interpreteerbare modellen onmogelijk zo nauwkeurig kunnen zijn als black box modellen. Immers, als je een nauwkeurig interpreteerbaar model zou kunnen bouwen, waarom zou je dan een black box gebruiken? Maar zoals de Explainable Machine Learning Challenge heeft aangetoond, zijn er in feite heel wat toepassingen waarbij mensen niet proberen een interpreteerbaar model te construeren, omdat ze misschien denken dat voor een complexe gegevensverzameling een interpreteerbaar model onmogelijk even accuraat kan zijn als een black box. Of misschien wil men het model als een eigendomsrecht beschermen. Men zou dan kunnen overwegen dat als interpreteerbare deep-learning modellen kunnen worden geconstrueerd voor computer vision en tijdreeksanalyse (bv. Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al, 2019), dan moet de norm worden veranderd van de aanname dat interpreteerbare modellen niet bestaan, in de aanname dat ze wel bestaan, totdat het tegendeel is bewezen.

Verder, wanneer wetenschappers begrijpen wat ze doen wanneer ze modellen bouwen, kunnen ze AI-systemen produceren die beter in staat zijn om de mensen te dienen die op hen vertrouwen. In deze gevallen blijkt de zogenaamde afweging van nauwkeurigheid en interpreteerbaarheid een drogreden te zijn: beter interpreteerbare modellen worden vaak nauwkeuriger (en niet minder).

De valse tweedeling tussen de nauwkeurige zwarte doos en het niet-zo-nauwkeurige transparante model is te ver doorgeschoten. Wanneer honderden vooraanstaande wetenschappers en leidinggevenden van financiële bedrijven door deze tweedeling worden misleid, stelt u zich dan eens voor hoe de rest van de wereld ook voor de gek kan worden gehouden. De implicaties zijn ingrijpend: het heeft invloed op het functioneren van ons strafrechtsysteem, onze financiële systemen, onze gezondheidszorg en vele andere gebieden. Laten we erop aandringen dat we geen black box machine learning modellen gebruiken voor beslissingen waar veel op het spel staat, tenzij er geen interpreteerbaar model kan worden geconstrueerd dat dezelfde mate van nauwkeurigheid bereikt. Het is mogelijk dat er altijd een interpreteerbaar model kan worden opgesteld – we hebben het alleen nog niet geprobeerd. Misschien zouden we, als we dat wel zouden doen, helemaal nooit zwarte dozen gebruiken voor deze beslissingen waar veel op het spel staat.

Noten

1. De website van de Explainable Machine Learning Challenge is hier: https://community.fico.com/s/explainable-machine-learning-challenge

2. Dit artikel is gebaseerd op Rudins ervaring met het meedoen aan de 2018 Explainable Machine Learning Challenge.

3. Lezers kunnen hier spelen met onze interactieve wedstrijdinzending voor de uitdaging: http://dukedatasciencefico.cs.duke.edu

4. Onze inzending heeft de wedstrijd inderdaad niet gewonnen, zoals beoordeeld door de organisatoren van de wedstrijd. De juryleden mochten helemaal niet met ons model en het bijbehorende visualisatie-instrument werken; na de indieningstermijn werd besloten dat de juryleden geen interactieve visualisaties zouden krijgen. FICO heeft echter zijn eigen aparte evaluatie van de inzendingen uitgevoerd, en onze inzending scoorde goed in hun evaluatie, en verdiende de FICO Recognition Award voor de competitie. Hier volgt de bekendmaking van de winnaars door FICO:

   https://www.fico.com/en/newsroom/fico-announces-winners-of-inaugural-xml-challenge?utm_source=FICO-Community&utm_medium=xml-challenge-page

5. Voor zover de auteurs weten, waren wij het enige team dat een interpreteerbaar model heeft geleverd in plaats van een black box.

Angelino, E., Larus-Stone, N., Alabi, D., Seltzer, M., & Rudin, C. (2018). Leren van certificeerbaar optimale regellijsten voor categorische gegevens. Journal of Machine Learning Research, 18(234), 1-78.

Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., & Elhadad, N. (2015). Intelligente modellen voor de gezondheidszorg: Voorspellen van het risico op longontsteking en 30-dagen heropname in het ziekenhuis. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM, Sydney, NSW, Australia, 721-1730.

Chen, C., Li, O., Barnett, A., Su, J., & Rudin, C. (2019). Dit lijkt erop: Deep learning voor interpreteerbare beeldherkenning. Vancouver, Canada, Advances in Neural Information Processing Systems.

Li, O., Liu, H., Chen, C., & Rudin, C. (2018). Deep learning voor case-based reasoning via prototypes: Een neuraal netwerk dat zijn voorspellingen verklaart. The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), New Orleans, Louisiana, 3530-3587.

Li, Y., Murias, M., Major, S., Dawson, G., Dzirasa, K., Carin, L., & Carlson, D. E. (2017). Targeting EEG/LFP synchrony with neural nets. Advances in Neural Information Processing Systems, Montreal, Canada, 4620-4630.

Ming, Y., Xu, P., Qu, H., & Ren, L. (2019). Interpreteerbaar en stuurbaar sequentie leren via prototypes. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, Alaska, 903-913.

Razavian, N., Blecker, S., Schmidt, A. M., Smith-McLallen, A., Nigam, S., & Sontag, D. (2015). Voorspelling op populatieniveau van Type 2 Diabetes uit claimgegevens en analyse van risicofactoren. Big Data, 3, 277-287.

Angwin, J. and Larson, J. and Mattu, S. and Kirchner, L. Machine Bias. ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, geraadpleegd 2016-5-23.

Rudin, C. (2019). Stop met het uitleggen van black box machine learning modellen voor high stakes decisions en gebruik in plaats daarvan interpreteerbare modellen. Nature Machine Intelligence, 1, 206-215.

Rudin, C., & Ustun, B. (2018). Geoptimaliseerde scoringssystemen: Naar vertrouwen in machine learning voor gezondheidszorg en strafrecht. Interfaces, 48, 449-466.

Rudin, C., Wang, C., & Coker, B. (2019). Het tijdperk van geheimhouding en oneerlijkheid in recidivevoorspelling. Harvard Data Science Review (in press).

Tollenaar, N., & van der Heijden, P. G. M. (2013). Welke methode voorspelt recidive het best? Een vergelijking van statistische, machine learning en data mining voorspellende modellen. Journal of the Royal Statistical Society, Series A: Statistics in Society, 176, 565-584.

Zeng, J., Ustun, B., & Rudin, C. (2016). Interpretabele classificatiemodellen voor recidivevoorspelling. Journal of the Royal Statistical Society, Series A: Statistics in Society, 180, 689-722.

Dit artikel is © 2019 door Cynthia Rudin en Joanna Radin. Het artikel is gelicenseerd onder een Creative Commons Naamsvermelding (CC BY 4.0) Internationale licentie (https://creativecommons.org/licenses/by/4.0/legalcode), behalve waar anders aangegeven met betrekking tot bepaald materiaal dat in het artikel is opgenomen. Het artikel moet worden toegeschreven aan de hierboven genoemde auteurs.