データは、誰かが世界に引いた境界線である

この言葉はリンカーン・バーネットが1948年にアインシュタインの考えとして紹介した記述だ。（実際にはアインシュタインの逐語的な一次情報は確認されていない）

AIの時代にこの言葉を言い換えるなら、人間についてのデータセットとは、社会が身につけてきた「常識」を、機械が読める形式に変換したコレクションなのかもしれない。

私たちは「データ」という言葉を聞くと、客観的な事実を想像する。数字は嘘をつかない。写真は現実を記録している。音声データには、そこで発せられた声がそのまま保存されている。

しかし、データは空から降ってくるものではない。

誰かがカメラを向け、誰かが録音を始め、誰かが測定項目を決める。そして、記録されたものに名前を付け、「人間」「雑草」「男性」「女性」「正常」「異常」「音声」「ノイズ」といった分類を与える。

その時点で、世界はすでに編集されている。

英語のdataは、ラテン語で「与えられたもの」を意味するdatumに由来する。だが、人文学者のヨハンナ・ドルッカーは、データを「与えられたもの」と考えるのではなく、capta、つまり「取られたもの」と考えるべきだと論じている。

データとは、世界に初めから存在している事実ではない。観察者が、ある目的と方法によって世界から取り出したものだ。そこには必ず、観察者の立場、関心、測定方法、技術的限界が含まれる。(DHQ Static)

何を撮影するのか。
どこから撮影するのか。
誰を対象にするのか。
どの差異を記録し、どの差異を無視するのか。
何をエラーとして削除するのか。

これらの判断を通過した後に、私たちが「データ」と呼ぶものが現れる。

その意味では、「生データ」という言葉も怪しい。データは自然資源のように採掘されるのではなく、文化や制度のなかで生成され、加工され、解釈されるものだからだ。(MIT Press)

データは世界そのものではない。

世界を、ある方法で切り取った痕跡である。

データセットを考えるとき、私たちは通常、そこに「何が入っているか」を見る。だが、AI倫理において本当に重要なのは、そこに何が入っていないかではないだろうか。例えば、5本指の手の画像が大量に集められたデータセットがあるとする。そこでは、5本指の手が「典型的な手」として学習される。一方、3本指や6本指の手は、数が少ないため、誤認識や異常値として扱われやすくなる。

しかし、3本指や6本指の身体が「異常値」なのではない。

それを十分に記録しなかったデータセットの側が、その身体を外れ値にしたのである。

私はこの問題意識から《AIが消し去る声》という映像作品を作った。

生成AIにおいて、5本の指として表れない手は、しばしば修正されるべき技術的エラーとして扱われるが、エンジニアたちは、「正しい」手を生成するために、膨大な計算資源とエネルギーを費やし、モデルの改良を続けている。しかし、この行為は本当に、単なるエラー修正と呼べるだろうか。AIがエラーと呼ぶものの背後に、排除されているマイノリティの暮らしがあるのではないか。私はそう感じるようになり、裂手症とともに生きる当事者、そのご家族、そして医療従事者への対話を通して映像作品を制作した。

このときAIは、世界を公平に観察しているのではない。

誰かがあらかじめ決めた「聞くべきもの」と「消してよいもの」の境界を、忠実に実行している。

2018年、ジョイ・ブオラムウィニとティムニット・ゲブルは、商用の顔画像分析システムを調査した。研究対象となった顔画像データセットでは、明るい肌の人物が約8割以上を占めていた。調査したシステムの誤分類率は、明るい肌の男性では最大0.8％だったのに対し、暗い肌の女性では最大34.7％に達した。(Proceedings of Machine Learning Research)

AIが突然、人種やジェンダーに関する偏見を思いついたわけではない。

収集された画像の偏り、分類方法、開発目的、評価基準といった、人間の選択がモデルの内部に入り込んでいたのである。

AIの危険性は、偏見を持つことだけではない。

それを高速化し、自動化し、社会の広い範囲に反復できることにある。

人間一人の思い込みなら、届く範囲は限られている。だが、その思い込みがデータセットになり、モデルになり、公共機関や企業のシステムに組み込まれれば、それはインフラになる。

「常識」が、機械によって実行可能な規則へと変わるのである。

NISTも、AIのバイアスを単なるデータ量の偏りとしてではなく、社会制度に由来するバイアス、計算・統計上のバイアス、人間の認知に由来するバイアスという複数の層で捉えている。また、集団間の予測精度を均等にするだけでは、必ずしも公正なシステムにはならないと指摘している。(NIST出版物)

AI倫理ではしばしば、「より多様なデータを集めよう」「少数者をデータセットに含めよう」と提案される。

それは重要な取り組みである。

しかし、ここにはもう一つの問いが残されている。