2018年、人工知能（AI）において画期的なチャレンジ、すなわち「Explainable Machine Learning Challenge」が行われた。 このコンペティションのゴールは、データセットに対して複雑なブラックボックスモデルを作成し、それがどのように機能するかを説明することでした。 あるチームは、そのルールに従わなかった。 彼らはブラックボックスを送る代わりに、完全に解釈可能なモデルを作成したのです。 これは、機械学習の現実の世界が、ブラックボックスモデルが必要でない場合にも使われる「説明可能な機械学習チャレンジ」と似ているかという疑問につながります。 このチームの競技中の思考過程と、競技そのものをはるかに超えたその意味について考察する。
キーワード：解釈可能性、説明可能性、機械学習、金融
2018年12月、数百人のトップコンピューター科学者、金融エンジニア、経営者が、Google、Fair Isaac Corporation（FICO）、バークレー、オックスフォード、インペリアル、UC Irvine、MITの学術関係者が共同で開催した権威あるコンテスト「説明可能機械学習チャレンジ」の結果を聞くために、年次神経情報処理システム（NeurIPS）カンファレンスにおいてモントリオールコンベンションセンター内の部屋に詰め込まれた。 これは、機械学習ベースの意思決定を支配しているブラックボックス モデルによって計算された結果に意味を持たせる必要性を反映した、最初のデータ サイエンス コンテストでした。
過去数年間、コンピューター ビジョンに対する深層学習の進歩により、任意のデータ サイエンス問題に対する最も正確なモデルは、本質的に解釈不可能で複雑でなければならないという信念が広まりました。 この信念は、社会における機械学習の歴史的用途に由来します。その近代的な技術は、オンライン広告やウェブ検索など、個々の決定が人間の生活に深く影響しない、賭け金の低い決定のために生まれ育まれました。
機械学習では、これらのブラックボックス モデルがアルゴリズムによってデータから直接作成され、人間は、それを設計した人ですら、予測が行われるように変数が組み合わされていることを理解することができない、ということを意味します。 入力変数のリストがあったとしても、ブラックボックスの予測モデルは、最終的な予測に到達するために変数がどのように共同して互いに関連しているかを人間が理解できないほど、変数の複雑な関数になることがあります。
解釈可能モデルは、ブラックボックス モデルと技術的に同等であり、おそらくより倫理的に代替可能ですが、予測が行われる方法についてより良い理解を提供するために制約されている点が異なっています。 場合によっては、最終的な予測を形成するために、変数がどのように共同して関連しているかを非常に明確にすることができ、おそらくいくつかの変数だけが短い論理文で結合されるか、線形モデルを使用して、変数が重み付けされて一緒に加算されます。 解釈可能なモデルは、より単純なモデルをまとめたもの（分解可能）であったり、新しいレベルの洞察を加えるためにモデルに他の制約を加えたりすることもあります。 しかし、ほとんどの機械学習モデルは、解釈可能な制約を付けて設計されていません。モデルが実際にどのように使用されるかを表すかどうかわからない静的なデータセット上で正確な予測因子となるように設計されているだけです。 そのため、同じタスクに対して非常にシンプルで解釈可能なモデルが存在する場合、企業は大きなリスクを伴う決定のために独自の複雑なブラックボックスモデルを市場に出し、販売することができます。 そのため、影響を受ける人々への有害な影響を考慮することなく、モデルの作成者が利益を得ることができるのです。 これらのモデルの設計者は、正確であるためにはモデルが複雑である必要があると主張しているため、これらのモデルに疑問を持つ人はほとんどいません。 2018年説明可能な機械学習チャレンジは、解釈可能なモデルよりもブラックボックスモデルを支持することのトレードオフを考慮するためのケーススタディとして機能します。
チャレンジの受賞者が発表される前に、金融、ロボット工学、機械学習の分野の有力者からなる聴衆は、自分が癌で腫瘍を取り除くために手術を必要とするという思考実験に参加するよう求められました。 スクリーンには、2つの映像が映し出された。 1つは人間の外科医で、手術について何でも説明できるが、手術中に死亡する可能性が15％あるというもの。 もう1つは、2％の確率で手術に失敗するロボットアームの映像。 このロボットは、人工知能（AI）のブラックボックス的なアプローチをシミュレートするためのものだった。 このシナリオでは、ロボットを完全に信頼することが求められ、ロボットに質問することはできず、ロボットがどのように判断したのかについての具体的な理解も提供されないのです。 そして、観客は2つのうちどちらに救命手術を任せたいか、手を挙げて投票するよう求められました。 死亡する確率が15％よりも2％のほうが良いことは明らかかもしれませんが、AIシステムの利害関係をこのように枠にはめると、より根本的で興味深い考察が見えなくなってしまいます。 なぜロボットはブラックボックスでなければならないのか。 もしロボットが自分自身を説明できるようになったら、正確な手術を行う能力を失ってしまうのでしょうか？ ロボットと患者、あるいは医師とのコミュニケーションが円滑になれば、患者のケアは向上するのではないだろうか？
ロボットがブラックボックスである必要はないというこの可能性は、選択肢として提示されず、ワークショップの聴衆には、正確なブラックボックスと不正確なガラスの箱のどちらかを選ぶことだけが与えられました。 聴衆は、手術結果の精度がどのように測定されているのか（2%と15%はどの母集団で測定されているのか）、また、ロボットの訓練に使用されたデータセットの潜在的欠陥について知らされていなかった。 精度は解釈可能性（外科医がなぜそうするのかを理解する能力）と引き換えでなければならないと仮定すると、この心理実験は、解釈可能性が精度を損なわないかもしれないことを考慮しませんでした。 解釈可能性は、モデル (この場合はロボット外科医) がいつ不正確であるかを理解することを可能にするため、正確さを向上させる可能性さえあります。 そのように理解することで、社会全体のハイステークスな意思決定にブラックボックスモデルを使用した結果生じた問題を診断することができます。 これらの問題は、金融だけでなく、ヘルスケア、刑事司法、およびそれ以外の分野にも存在します。
この仮定（最も正確なモデルを得るためには、常に何らかの解釈可能性を犠牲にしなければならない）が間違っているという証拠をいくつか示しましょう。 刑事司法制度では、将来の逮捕を予測するための複雑なブラックボックスモデルが、年齢と犯罪歴に基づく非常に単純な予測モデルよりも正確ではないことが繰り返し実証されています（Angelino, Larus-Stone, Alabi, Seltzer, & Rudin, 2018; Tollenaar & van der Heijden, 2013; Zeng, Ustun, & Rudin, 2016）。 例えば、Angelinoら（2018）の仕事で作成された再逮捕を予測するための解釈可能な機械学習モデルは、誰かの年齢と犯罪歴に関するいくつかのルールだけを考慮しています。 完全な機械学習モデルは以下の通りです：もしその人が>3件の前科があるか、18～20歳で男性か、21～23歳で2～3件の前科があれば、評価から2年以内に再逮捕されると予測され、そうでなければ再逮捕されないと予測されます。 この特定のモデルを刑事司法の場で使用することを必ずしも推奨しているわけではないが、この一連のルールは、フロリダ州ブロワード郡で使用されているCOMPAS（Correctional Offender Management Profiling for Alternative Sanctions）と呼ばれる広く使われている（そして独自の）ブラックボックスモデルと同じくらい正確だ（Angerino et al, 2018）
上記の単純モデルも他の多くの最先端機械学習メソッド（Angerino et al, 2018）同様に正確である。 同様の結果が、他のデータセットで多くの異なるタイプの再逮捕予測問題に適用された機械学習法全体で見出されました：解釈可能なモデル（これらの研究では非常に小さな線形モデルまたは論理モデルでした）は、より複雑な（ブラックボックス）機械学習モデルと同じようにうまくいきました（Zeng et al.，2016）。 犯罪リスク予測にブラックボックスモデルを使用することによる利点の証拠はないようです。 実際、これらのブラックボックスはトラブルシューティング、信頼、および使用がより困難であるという点でデメリットがあるかもしれません。
There also seem to be a benefit in accuracy for black box models in several healthcare domains and across many other high-stakes machine learning applications where life-altering decisions are being made (e.g….) ブラックボックスモデルの精度にはメリットがないようです。 Caruana et al., 2015; Razavian et al., 2015; Rudin & Ustun, 2018, who all shows models with interpretability constraints that perform just as well as unstrained models)。 それどころか、ブラックボックスモデルは、無数の起こりうる重大なミスを覆い隠すことができる（例えば、Rudin, 2019を参照）。 ディープニューラルネットワーク（説明するのが最も難しい種類のブラックボックスモデル）が最先端のコンピュータビジョンにおいてさえ、我々や他の科学者（例えば、Chen et al., 2019; Y. Li et al., 2017; L. Li, Liu, Chen, & Rudin, 2018; Ming, Xu, Qu, & Ren, 2019）により深層学習モデルに対して、より透明な計算を導くための解釈可能性制約を追加する方法が見出されました。 これらの解釈可能性制約は、コンピュータビジョン用のディープニューラルネットワークであっても、精度を犠牲にしていません
ブラックボックスモデルを信頼するということは、モデルの方程式だけでなく、そのモデルが構築されたデータベース全体も信頼することを意味します。 たとえば、ロボットと外科医のシナリオでは、2%と15%がどのように推定されたかを知らなければ、医療患者の特定の部分集団に対するこれらの数値の関連性を疑うべきです。 私たちがこれまで見てきた、適度に複雑なデータセットには、不完全なものが含まれています。 その範囲は、膨大な量の欠損データ（ランダムに欠損するわけではない）や測定不能な交絡から、データセットにおける系統的なエラー（例． 医療環境におけるブラックボックスモデルでよくある問題の 1 つに、データリークがあります。これは、変数のタイトルや説明を見ても疑わないような方法で、ラベル y に関するいくつかの情報が変数 x に忍び込むもので、未来の何かを予測しているつもりでも、過去に起こった何かを検出しているに過ぎないことがあります。 医療結果を予測する場合、機械は公式記録される前に患者の結果を明らかにする医師のメモの中の情報を拾い上げ、それ故にこれらを成功した予測として誤って主張するかもしれない
ブラックボックスモデルの不透明さについての広範な懸念に対処しようとして、一部の科学者はそれらの説明、すなわちなぜ彼らがそのような決定に至るのかという仮説を提供しようとした。 そのような説明は通常、全く別のモデル（おそらく異なる重要な変数を用いて、ブラックボックスが実際に行っているかもしれないことを隠している）を用いてブラックボックスの予測を模倣するか、ブラックボックスの計算に関する不完全な情報をもたらす別の統計量を提供しようとするものである。 このような説明は、ブラックボックスの必要性を認識しないどころか、ブラックボックスの権威を拡大することになるので、浅はかであり、空虚でさえあります。 そして時には、こうした説明は間違っています。
例えば、ProPublicaの記者が再犯者予測のための独自のCOMPASモデル（Angwin et al., 2016）の中身を説明しようとしたとき、COMPASを近似して人種、年齢、犯罪歴に依存する線形モデルを作成できれば、COMPAS自体が人種に依存しなければならないと誤って仮定したようです。 しかし、非線形モデルを用いてCOMPASを近似すると、人種への明示的な依存は消え（Rudin, Wang, & Coker, 2019）、年齢と犯罪歴を通じてのみ人種への依存が残ります。 これは、ブラックボックスの誤った説明がいかに制御不能なスパイラルに陥るかの一例である。 おそらく、司法制度が解釈可能なモデル（私たちや他の人々が同様に正確であることを実証している）だけを使用していたならば、ProPublicaのジャーナリストは別の記事を書くことができただろう。 おそらく、たとえば、これらのスコアの誤植が頻繁に発生し、それをトラブルシューティングする明白な方法がないため、司法制度において人生を左右する一貫性のない意思決定につながることについて書くかもしれません (たとえば、Rudin et al., 2019 参照)。
しかし、2018 年の NeurIPS 会議に戻って、ちょうど外科医よりもロボットを選んだ専門家で満ちた部屋で、発表者は競争の説明を続行しました。 FICOはホームエクイティラインオブクレジット（HELOC）データセットを提供していましたが、このデータセットには、信用履歴の側面や個人がローンを不履行にしたかどうかなど、何千人もの匿名の個人からのデータが含まれています。 コンテストの目標は、ローンの不履行を予測するブラックボックス モデルを作成し、そのブラックボックスを説明することでした。
出場者にブラックボックスを作成して説明させるコンテストでは、問題には実際にブラックボックスが必要だと考えるでしょう。 しかし、そうではありませんでした。 2018年7月にDukeチームがデータを受け取ったとき、わずか1週間ほど遊んだだけで、ブラックボックスなしでもFICOデータを効果的に分析できることに気づいたのです。 ディープニューラルネットワークを使っても、線形モデルの古典的な統計手法を使っても、手法間の精度の差は1％未満で、これはデータのランダムサンプリングによる誤差の範囲内であることがわかりました。 非常に解釈しやすいモデルを提供する機械学習技術を使った場合でも、最高のブラックボックスモデルと同等の精度を達成することができたのです。 このとき、私たちはどうしたらいいか困惑しました。 ルールに従ってブラックボックスを提供し、それを審査員に説明するべきか。 それとも、透明で解釈しやすいモデルを提供すべきなのか？ 言い換えれば、ロボットと外科医という誤った二項対立に追い込まれたと気づいたとき、どうすればよいのでしょうか。
私たちのチームは、クレジット スコアリングのように重要な問題については、単に説明する目的だけでブラック ボックスを審査チームに提供しないことに決めました。 その代わりに、数学の知識があまりない銀行のお客様でも理解できるような、解釈しやすいモデルを作りました。 このモデルは、さまざまなミニモデルに分解でき、それぞれが単独で理解できるようになっています。 さらに、金融機関や個人向けに、オンラインでインタラクティブに可視化できるツールも作成しました。 ウェブサイト上でクレジットヒストリーの要素を操作することで、どの要素がローン申し込みの判断に重要なのかを理解することができるのです。 ブラックボックスは一切なし。 しかし、私たちには、より重要なポイントがありました。
解釈可能なモデルがブラックボックス モデルほど正確でないアプリケーションはたくさんあると思うかもしれません。 結局のところ、もし正確な解釈可能なモデルを構築できるのであれば、なぜブラックボックスを使用するのでしょうか。 しかし、Explainable Machine Learning Challengeが明らかにしたように、解釈可能なモデルを構築しようとしないアプリケーションも実際にはたくさんあります。なぜなら、複雑なデータセットでは、解釈可能なモデルはブラックボックスほど正確でない可能性があると考えるからです。 あるいは、そのモデルを所有権として保持したいのかもしれません。 そうすると、もし解釈可能なディープラーニングモデルがコンピュータビジョンや時系列分析に構築できるのであれば（例えば、Chen et al., 2019; Y. Li et al., 2017; O. Li et al., 2018; Ming et al, 2019）、その場合、解釈可能なモデルは存在しないという仮定から、そうでないと証明されるまでは存在するという仮定に基準を変更すべきである。
さらに、科学者がモデルを構築するときに何をしているかを理解すると、それに依存する人間によりよく奉仕できるAIシステムを作り出すことができる。 このような場合、いわゆる正確性と解釈可能性のトレードオフは誤りであることが明らかになります。正確なブラックボックスとそれほど正確ではない透明なモデルという誤った二項対立は、あまりにも行き過ぎています。 何百人もの一流の科学者や金融会社の幹部がこの二項対立に惑わされるとき、世界の他の人々も同様に惑わされるかもしれないことを想像してみてください。 その影響は甚大で、刑事司法制度、金融制度、医療制度、その他多くの分野の機能に影響を及ぼしているのです。 私たちは、同じレベルの精度を達成する解釈可能なモデルが構築できない限り、ブラックボックスの機械学習モデルを利害関係の強い意思決定に使用しないよう主張しよう。 解釈可能なモデルが常に構築可能である可能性はある。 おそらく、もしそうしていれば、このような高リスクの意思決定にブラックボックスを使用することはまったくなかったでしょう。
Notes
-
The Explainable Machine Learning Challenge website is here: https://community.fico.com/s/explainable-machine-learning-challenge
-
この記事は、2018年Explainable Machine Learning Challengeに出場したRudinの経験に基づいています。
-
読者はここで挑戦のインタラクティブ競争エントリでプレイすることができます。 http://dukedatasciencefico.cs.duke.edu
-
私たちの作品は、コンペティションの主催者の判断では、確かに優勝はできませんでした。 審査員は、私たちのモデルとその視覚化ツールを操作することはまったく許可されませんでした。投稿の締め切り後に、インタラクティブな視覚化は審査員に提供しないことが決定されたのです。 しかし、FICOは独自にコンペティション作品の評価を行い、私たちの作品はその評価で高いスコアを獲得し、コンペティションのFICO Recognition Awardを受賞することができました。 以下は、FICOによる受賞者の発表です。
https://www.fico.com/en/newsroom/fico-announces-winners-of-inaugural-xml-challenge?utm_source=FICO-Community&utm_medium=xml-challenge-page
-
著者が知る限り、ブラックボックスではなく解釈できるモデルを提供した唯一のチームだった。
Angelino, E…, Larus-Stone, N., Alabi, D., Seltzer, M., & Rudin, C. (2018). カテゴリカルデータに対する証明可能な最適ルールリストの学習。 Journal of Machine Learning Research, 18(234), 1-78.
Caruana, R., Lou, Y., Gehrke, J., Koch, P., Sturm, M., & Elhadad, N. (2015).を参照。 ヘルスケアのためのインテリジェントモデル 肺炎リスクと病院30日再入院の予測. Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, ACM, Sydney, NSW, Australia, 721-1730.
Chen, C., Li, O., Barnett, A., Su, J., & Rudin, C. (2019). これはそう見える。 解釈可能な画像認識のためのディープラーニング. カナダ・バンクーバー、Advances in Neural Information Processing Systems.
Li, O., Liu, H., Chen, C., & Rudin, C.（2018年）. プロトタイプによるケースベース推論のためのディープラーニング。 予測を説明するニューラルネットワーク The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI-18), New Orleans, Louisiana, 3530-3587.
Li, Y., Murias, M., Major, S., Dawson, G., Dzirasa, K., Carin, L., & Carlson, D.E. (2017). ニューラルネットでEEG/LFPの同期を狙う。 Advances in Neural Information Processing Systems, Montreal, Canada, 4620-4630.
Ming, Y., Xu, P., Qu, H., & Ren, L.（2019年）. プロトタイプを介した解釈可能かつ舵取り可能なシーケンス学習。 Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, Anchorage, Alaska, 903-913.
Razavian, N., Blecker, S., Schmidt, A. M., Smith-McLallen, A., Nigam, S., & Sontag, D. (2015)（2015）. クレームデータと危険因子の分析から2型糖尿病の母集団レベルの予測。 Big Data, 3, 277-287.
Angwin, J. and Larson, J. and Mattu, S. and Kirchner, L. Machine Bias.日本経済新聞社(2011). ProPublica, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, accessed 2016-5-23.
Rudin, C. (2019). ハイステークスな意思決定のためにブラックボックスの機械学習モデルを説明するのをやめ、代わりに解釈可能なモデルを使用する。 Nature Machine Intelligence, 1, 206-215.
Rudin, C., & Ustun, B. (2018).を参照。 最適化されたスコアリングシステム ヘルスケアと刑事司法のための機械学習の信頼に向けて。 Interfaces, 48, 449-466.
Rudin, C., Wang, C., & Coker, B. (2019).を参照。 再犯率予測における秘密主義と不公平の時代. Harvard Data Science Review (in press).
Tollenaar, N., & van der Heijden, P. G. M. (2013).を参照。 どの方法が最も再犯率を予測できるか？ 統計的、機械学習的、データマイニング的予測モデルの比較。 Journal of the Royal Statistical Society, Series A: Statistics in Society, 176, 565-584.
Zeng, J., Ustun, B., & Rudin, C. (2016).を参考にした。 再犯者予測のための解釈可能な分類モデル。 Journal of the Royal Statistical Society, Series A: Statistics in Society, 180, 689-722.
この記事はCynthia RudinとJoanna Radinによって© 2019されています。 この記事は、記事に含まれる特定の素材に関して特に示されている場合を除き、クリエイティブ・コモンズ 表示 (CC BY 4.0) 国際ライセンス (https://creativecommons.org/licenses/by/4.0/legalcode) の下に許諾されています。 この記事は、上記で特定された著者に帰属するものとする。