IBMは6月8日（現地時間）、AIの信頼性を高めるツールキット「Uncertainty Quantification 360（以下、UQ360）」をオープンソース化する、と発表した。同日開催のデベロッパー・カンファレンス「Data & AI 2021」で発表したもの。
UQ360は、データサイエンスの実務者や開発者を対象に、AI（機械学習モデル）の不確実性の定量化と、評価、改善のためのアルゴリズムの提供を目的としたツール。IBMによると、AIの信頼性向上というIBMの社会的責任に基づくオープンソース化で、この種のツールとしては「初めての包括的なツールキット」という。
調査会社のAI市場動向を見ると、AIは今後ますます幅広く適用されていくと予測されている。その中で、車の自動運転や医療診断などでとくに象徴的なように、AIによる判定・予測の誤りが人命にかかわる重大事故につながりかねないため、AIの信頼性向上が喫緊の課題となっている。
しかしAIツールは一般的に、どのように機能するかを詳しく説明するが、どのように機能しないかについては詳細を明らかにしない。UQ360はその点に着目し、「AIの不確実性を定量化し、限界と潜在的な失敗点を明らかにする」という。
IBM基礎研究所のリリースでは次のような例を挙げて説明している。
「この皮膚疾患診断の例では、モデルが予測した信頼度の高いものと低いものの原因となった特徴を視覚化することで、ユーザーは自分のドメイン知識と一致しているかどうかを確認することができます。皮膚病変の画像の下にあるバーの高さは、異なる診断に対するモデルの信頼度を示しています。モデルが自信を持っていない場合、臨床医は追加の調査を行い、モデルによる予測を破棄することで、ミスから生じるリスクを回避することができます（下図）」
同様に、創薬のようなケースでも、実験室や実世界でのテストに先立って薬の候補を不確実性診断の機能をもつAIによってスクリーニングするすることによって、創薬のために費やす時間、費用、労力を削減できる。
UQ360の判定方法は、基礎となるモデル、機械学習タスクの種類（回帰と分類）、データの特性、ユーザーの目標など、多くの要因に依存している（下図：UQ360を用いた不確実性定量化のフロー、UQ推定手法の分類法）。ただし、「時には、選択したUQメソッドが高品質の不確実性推定値を生成できず、ユーザーに誤解を与える可能性があります。そのため、モデル開発者は、AIシステムを展開する前に、常にUQの品質を評価し、必要に応じて定量化の品質を改善することが極めて重要」という。
UQ360は包括的なツールキットで、不確実性を定量化するための一連のアルゴリズムと分類法に加えて、不確実性の定量化（Uncertainty Quantification：UQ）を測定・改善するための機能も提供している。またUQ360には、UQの生成方法や詳細なチュートリアルも含まれている。
なお、デベロッパー・カンファレンス「Data & AI 2021」のセッション録画を下記URLで視聴できる（無料）。
https://developer.ibm.com/conferences/digital-developer-conference-data-ai/
IBM基礎研究所のリリース「IBM’s Uncertainty Quantification 360 toolkit boosts trust in AI」
［i Magazine・IS magazine］
