AIは人種差別を学ぶのか
「偏ったデータ」の先にある、分類の暴力

顔認識、採用、医療、融資、警察活動、画像生成。人間を判断するさまざまな場面にAIが入り込むにつれ、人種によって精度や扱いが異なる問題が明らかになっている。こうした問題は、しばしば「学習データが偏っていた」と説明される。だが、問題はデータの量や構成だけではない。誰を分類し、何を正解とし、どの誤りを許容するのか。その設計の一つひとつに、社会がすでに持っている価値観や権力関係が埋め込まれている。

AI倫理と人種の問題を考えるためには、まず「人種」が生物学的に明確な境界を持つ分類ではないことを確認する必要がある。全米科学・工学・医学アカデミーは、人種やエスニシティを社会的・政治的に構築された概念と位置づけ、人間の遺伝的多様性は人種カテゴリーのような明確な集団に分かれず、連続的に重なり合っていると説明している。(ナショナルアカデミーズプレス)

それでも、人種は現実に作用する。就職、教育、医療、居住、警察による監視などにおいて、人種として分類されることは、人の生活を具体的に左右してきた。つまり、人種は生物学的な実体ではなくても、人種差別が生み出す格差は実在する。AIは、この社会的に作られた分類を、あたかも自然で客観的な属性であるかのように計算可能な変数へ変えてしまう。

AIは「社会を映す鏡」と表現されることがある。しかし、鏡という比喩だけでは不十分だ。AIは過去を映すだけでなく、その出力によって未来の判断を形づくる。

過去の採用実績を学習したAIが応募者を選び、その選考結果が次の学習データになる。過去の逮捕記録を学習したシステムが警察官の配置を決め、その地域で新たに発見された違反が、再び危険地域を示すデータとして使われる。ここでは、データは単なる記録ではない。制度がどこを見て、誰を調べ、誰を支援しなかったかという行為の痕跡である。

AIはその痕跡を統計的規則へ変え、再び社会へ押し返す。したがってAIは、社会を映す鏡である以上に、過去の形を未来へ複製する鋳型なのである。

2018年、ジョイ・ブオラムウィニとティムニット・ゲブルは、三つの商用顔分析システムにおける肌の色とジェンダーの交差的な精度差を調査した。明るい肌の男性に対する最大誤認率が0.8％だったのに対し、暗い肌の女性では最大34.7％に達した。また、当時広く使われていた顔画像データセットでは、明るい肌の人物が約8割以上を占めていた。(Proceedings of Machine Learning Research)

米国国立標準技術研究所も、99の開発者から提出された189の顔認識アルゴリズムを調査し、多くのアルゴリズムで人口集団による性能差が確認されたと報告している。ただし、その差の大きさや方向はアルゴリズム、用途、入力データによって異なる。したがって、「顔認識は常に特定の人種に弱い」と単純化するのではなく、製品ごと、使用環境ごとに検証する必要がある。(NIST)

この問題は、単に認識精度を均等にすれば終わるのだろうか。

暗い肌の人も正確に識別できるようになれば、技術的な格差は縮小する。しかし、その技術が街頭監視や移民管理に使われれば、これまで認識されにくかった人々を、より効率的に追跡するシステムにもなりうる。公平な監視は、監視されない自由を意味しない。ここにAI倫理の重要な逆説がある。

問うべきなのは「すべての人種を同じ精度で分類できるか」だけではない。「そもそも、この場面で人間を識別し、分類する必要があるのか」という問いである。

AIシステムから人種情報を削除すれば、人種差別は防げるように思える。しかし、郵便番号、姓名、使用言語、職歴、医療費、所得、通学した学校などの変数は、社会構造を通して人種化された格差と結びついている。

米国の医療現場で使われていたリスク予測アルゴリズムを調査した2019年の研究では、同じリスクスコアを与えられた黒人患者のほうが、白人患者よりも実際には重症だったことが判明した。原因は、アルゴリズムが患者の「病気の深刻さ」ではなく、将来の「医療費」をその代理指標として予測していたことにある。

医療へのアクセスが不平等な社会では、必要な治療を受けられない人ほど医療費が低くなる場合がある。ところがアルゴリズムは、医療費が低いことを健康上の必要性が低いこととして解釈した。研究者らの推計では、この偏りを是正すると、追加支援の対象となる黒人患者の割合は17.7％から46.5％へ増加した。(PubMed)

ここで差別を生んだのは、露骨な人種差別の命令ではない。「医療費は健康状態を表す」という、一見合理的な代理指標だった。

AI倫理において重要なのは、モデルが何を予測しているかだけではない。予測したい概念の代わりに、何を測定可能な代理物として置いたのかを調べることである。数字の背後にある制度的不平等を無視すれば、AIは差別を発見するのではなく、差別を客観的事実として再定義してしまう。

予測型警察活動では、過去の逮捕件数や警察が発見した事件のデータをもとに、重点的に巡回する地域が決められることがある。しかし警察官が多く配置された地域では、