皆さん、こんにちは！創業前後のスタートアップへ投資を行うジェネシア・ベンチャーズで、パートナー兼CSO（チーフ・サステナビリティ・オフィサー）を務めている河合です。

スタートアップ関連のESG情報を発信していく連載企画『ESG for Startups』の第5回目となる本稿では、ESG経営で重視される倫理ガバナンスの構築について、テクノロジーの視点を含むテーマとして「AI倫理」を取り上げてみたいと思います。（筆者のTwitterアカウントのフォローもぜひお願いします！）

1. はじめに

現在、世界各国でAI倫理への意識が高まり、AI原則の策定なども進んでいますが、AIサービスの開発及び利用段階における実効性を確保するためには、サービス事業者は、これをコーポレートガバナンスの一環として位置づける必要があります。そのようなガバナンスの確立を通じて、社会によるAI の受容性が高まるとすれば、サービス開発に携わる事業者にとっても、中長期的な利益に貢献すると考えられます。AIが社会の基本的な価値に反して利用されないようにするための AI ガバナンスは、企業活動の外部不経済を抑制するというESGの観点からも見ても、重要なテーマと言えるのではないでしょうか。

2. AIトラブルの事例

AI倫理が注目されるようになった背景として、まずは過去のAIトラブルの事例を３つご紹介したいと思います。
１つ目は、AI会話ボットが差別的な暴言を吐くようになってしまい、最終的にサービス廃止に至ったマイクロソフトの事例です。2016年3月、マイクロソフトはAI会話ボットのTayをローンチしました。Tayは米国の若者を対象に、カジュアルで楽しい会話をするよう設計されていました。滑り出しは好調だったTayでしたが、Twitterユーザーとのやり取りを始めると、AIシステムが良いものも悪いもの全ての会話を吸収した結果、非常に攻撃的なツイートを投稿するようになりました。会話を始めて16時間もしないうちに、Tayは無神経な反ユダヤ主義者になってしまったのです。同社は、この経験を振り返りって「AIを世界の役に立つように研究開発し、正しく実装するためには、AIのコンポーネントの倫理的能力を理解することが重要である」と述べています。
2つ目は、アマゾンが差別的な人材採用AIを廃止した事例です。アマゾンは2014年頃から、採用を効率化するためのAIシステムを開発していました。500台ほどのコンピューターが採用希望者の願書に書かれている約5万個のキーワードを抽出・分析し、自社に適した人材を即座に選びだすというものです。ところが、開発終盤に差し掛かった段階で、このAIシステムは「女性の評価を低く見積もる傾向にある」ことが判明しました。その原因は、IT企業に志願する人物の圧倒的多数が男性であるため、AIが男性の願書に偏向して高い評価を与えるようなったためと説明されています。
3つ目は、IBMが顔認識AI事業から撤退した事例です。2018年、米マサチューセッツ工科大学がIBMやマイクロソフトなどの顔認識ソフトの精度を調査した結果、「明るい肌の男性」よりも「暗い肌の女性」の方がはるかに誤認識されやすいことが発覚し物議を醸しました。米国の警察は顔認識AIを捜査に活用してきましたが、黒人女性のようなマイノリティーほど誤認逮捕などで不当な扱いを受けるリスクが高まるのです。そして2020年に「Black Lives Matter運動」が加速すると、顔認識AIの差別的側面に改めて注目が集まり、批判の高まりを受けて同年6月にIBMは顔認識AI事業からの撤退を表明しました。同社CEOは「IBMは他社の顔認識技術も含めたあらゆるテクノロジーが、大衆監視や人種によるプロファイリング、基本的人権や自由の侵害に使われることに強く反対し、容認しない」との声明を発表しました。

これらの事例が示すとおり、AIが導き出す“現在の合理的な解”というのは、往々にして現状の格差やバイアスを丸のみにした差別的なものに繋がる危険性をはらんでいるのです。AIに取り組もうとする企業は、自社の用いるデータやアルゴリズムの公正性に、十分な注意を払う必要があると言えるでしょう。

3. 法規制の動き

このようなAI倫理やAIガバナンスに対する意識の高まりを受けて、欧州や米国を中心とする海外では法規制の検討が進んでいます。AIを活用したグローバルなビジネス展開を考える際には、どのような規制が整備されようとしているのか、しっかり把握しておく必要があります。

2021年4月、欧州委員会が「AIの包括規制案」を公表、拘束力を伴うAIの包括的な規制は世界で初めてです。個人情報保護に大きな影響を与えた一般データ保護規則（GDPR）のAI版と言えるかもしれません。
この規制案では、AIシステムの開発や利用が、市民の安全や基本的権利に与える影響の大きさをもとに、リスクを「禁止」「高リスク」「限定的なリスク」「最小限のリスク／リスクなし」の4段階に分類し、利用を制限しています。最も厳しい区分では、政府がAIを用いて個人データを分析して格付けする「スコアリング」を禁止するほか、警察による法執行を目的としたリアルタイムでの顔認証を原則禁止しています。また、人の行動を操作するようなAIの利用も認めていません。更に、規制案には罰則規定があり、違反すれば最大で3,000万ユーロ（約42億円）または売上高の6%の罰金を科される可能性があります。
その後、同案に対する意見募集では、欧州企業のほか日米企業が修正を求めており、全体で300件超の修正意見が提出された模様ですが、欧州委員会ではこうした意見を踏まえて、規制案の成立に向けた作業を本格化する予定です。GDPRの成立には約4年かかりましたが、欧州委員会はフォンデアライエン氏が委員長を務める2024年までのAI規制案の成立を目指しているようです。欧州でAIを扱う日本企業も事業活動を縛られる可能性があり、これから各企業は対応を迫られることになりそうです。

米国では、2021年6月、連邦機関による顔認識技術の使用を禁止し、州および地方自治体が顔認識および生体認証技術の使用に関する独自の法律制定を許可する「顔認識および生体認証テクノロジー・モラトリアム法」が提出されています。
また米国では、2019年にサンフランシスコ市議会で顔認識技術の使用を禁止する条例が可決されて以来、同様の条例が各地で制定されています。2021年11月には、ワシントン州ベリンハム市議会が市当局による顔認識技術の使用を禁じる条例を可決しました。いまでは、同様の条例が20あまり制定されています。

日本では、2021年3月、公正取引委員会の「デジタル市場における競争政策に関する研究会」が、「アルゴリズム/AIと競争政策」という報告書を発表しています。この報告書では、①アルゴリズム/AIと協調的行為、②ランキング操作、③パーソナライゼーション、④アルゴリズム/AIと競争力、⑤デジタルプラットフォームとアルゴリズム/AIの課題、という５つの項目で整理しています。このうち「①アルゴリズム/AIと協調的行為」では、デジタル化やECの進展に伴い、価格調査や価格設定のアルゴリズムが用いられるようになった結果、価格競争が活発になる場合がある一方で、その利用方法によっては（価格カルテルのような）協調的な価格設定につながる可能性を指摘しています。

4. AIの潜在的リスク

AIサービスの開発においては、さまざまなバイアスが混入するリスクがあります。例えば、その一つに「エコーチェンバー」という現象があります。これは、SNS等を利用する際に、自分と似た価値観をもつユーザーの主張ばかりが表示されたり目にするために、自分と似た考えや価値観、趣味嗜好を持った人たちが集まる閉鎖的な空間でやり取りが繰り返され、自分の意見や思想が過度に肯定されることで、自身の主張する意見や思想が世の中における正解であるかのごとく勘違いしてしまう現象を言います。これが問題視されたきっかけの一つが、米国のトランプ政権下で生じた国内分裂です。
また、AIへの意図しない入力の問題もあります。例えば、婉曲表現として差別的な意味を含んでいるにもかかわらず、AIにはその真意を区別できないため、結果的にAIが差別的な表現を使ってしまうといった状況が起こり得ます。それとは逆に、画像認識においては敵対的サンプルの問題があり、画像認識の学習データにノイズを混ぜることで、意図的に誤認識をさせることも可能になります。確証バイアスは、AI開発者がアルゴリズムの設計段階において、どういう特徴量を採用あるいは不採用とするかを、自分が信じる仮説を強化するように選択してしまうケースです。例えば、単なる疑似相関であるにもかかわらず、これを因果関係が存在しているかのように取り扱うことで、思わぬ結果を招くといったことも起こり得ます。そのほか、教師あり学習の場合に、人間によって与えられる解にバイアスが混入する可能性などは、以前から指摘されているとおりです。

このようなリスクが顕在化した事例の一つが、Apple Cardの性差別問題であり、カード発行時に設定される利用限度額に男女差が存在するという指摘がなされました。カード発行元のゴールドマン・サックスは、アルゴリズムには性別データを入力していない旨の説明を行いましたが、そもそもAIの学習データに男女間での差異が含まれていたため、AIの出力結果にもそのような男女差が反映される結果となったのです。また、性別データが不在だったことで、かえってバイアスの検証が困難になるという問題も潜んでいました。これは開発者にとっては全く意図しない原因であったと思われますが、現在の社会的な不平等がデータに混入してしまったことで、社会的な不平等をさらに助長する影響を及ぼしていた事例と言えそうです。

5. AIの公平性・透明性の担保

上記のようなバイアスを排して、AIの公平性・透明性を担保するためには、人間が意思決定の中心となるアルゴリズムやサービスの設計・開発・評価を行う必要があります。すなわち、どのようなデータを重要または不要とみなすのかを決めるのは人間であり、AIの訓練は人間の課題設定に大きく依存しており、AIの評価検証にあたって妥当な結果か否かを判断するのも人間であることから、人間中心ではない機械任せのプロセスでは、人間が無意識のうちに混入させるバイアスを感知できない可能性があるからです。また、AIの公平性・透明性を担保するための要件として、AIの説明可能性と解釈可能性を備える必要がありますが、説明可能性とは、AIがなぜそのような結果を出したのか、システム内部で何が起こったのかを説明できることを意味し、解釈可能性とは、ある入力を与えられたときに、システムがどう反応するかを予測できることを意味します。

AIの潜在的リスクであるバイアスの混入を、未然に検知して対応するための評価方法（アルゴリズム・アセスメント）には、定性評価と定量評価の２種類があります。定性評価では、インタビュー等の実施によって、各分野の様々なステークホルダーとの意見の整合を図ることを目的とした評価を行います。また、定量評価では、①データのバイアス、②モデルの説明可能性、③モデルのバイアス、の観点から定量評価を行う必要があります。ここでは、各評価の具体的な手法や評価ツールの詳細については割愛させて頂きますが、いずれにしても、アルゴリズム・アセスメントは各種の施策を統合的に実施する必要があります。明確なガイドラインの存在と、定性・定量両面での統合的アセスメントの実施は、人間によるバイアスの混入リスクを大きく低減してくれるはずです。

6. AI原則およびAI倫理ガイドラインの策定

日本では、世界的に見ても早い時期から官民による取組が進み、2017年には「AI開発原則」、2018年には「AI利活用原則」をそれぞれ公表、これら原則は国際的にも影響を与え、2019 年5月に OECDで「AI原則」が採択される契機ともなりました。他方、国内では、両原則が実現しようとする社会的な価値を明確化する必要性が認識され、2019年3月に「人間中心のAI社会原則」が策定されています。

そして、このようなAI原則の公表を受けて、国内企業でも、ソニー、日立製作所、富士通、NEC、NTTデータ、富士フィルムなどの大手企業を中心に、AIに関する倫理ガイドラインの策定や外部委員会の設置、社内啓蒙活動などが活発に行われるようになってきています。今後は、先進的な一部の大手企業だけでなく、スタートアップも含めた多くの企業が、AIガバナンスを整備したうえで、長期的な成長戦略を描くことが重要になっていくと考えられます。

7. おわりに

ESG領域での起業をご検討の方や、そのようなスタートアップとの協業をご希望の方がいらっしゃいましたら、まずはぜひカジュアルにお話させてください！（筆者のTwitterアカウントのフォローもぜひお願いします！）

『ESG for Startups』連載一覧 [再掲]
#1　PRI署名及びESG投資方針の策定について
#2　世界のESGスタートアップ30選（前編）
#3　世界のESGスタートアップ30選（中編）
#4　世界のESGスタートアップ30選（後編）

ジェネシア・ベンチャーズからのご案内です。もしよろしければ、TEAM by Genesia. にご参加ください。私たちは、一つのTEAMとして、このデジタル時代の産業創造に関わるすべてのステークホルダーと、すべての人に豊かさと機会をもたらす社会、及びそのような社会に向かう手段としての本質的なDX（デジタルトランスフォーメーション）の実現を目指していきたいと考えています。TEAM by Genesia. にご参加いただいた方には、私たちから最新コンテンツやイベント情報をタイムリーにお届けします。

TEAM by Genesia. | 株式会社ジェネシア ・ベンチャーズ（Genesia Ventures, Inc.）