「最後に人間が見ています」、という暴力

AIを使った採用、融資、行政手続き、医療、教育、コンテンツモデレーション。その説明の中で、私たちはHuman in the loopという言葉を何度も聞くようになった。

一見すると、とても安心できる言葉に聞こえる。AIだけで決めているわけではない。最後には人間が確認している。だから大丈夫だ、と。

しかし本当にそうだろうか。

むしろ私は、この言葉にこそ、AI時代の新しい暴力が隠れているのではないかと思っている。

問題は「人間がいるかどうか」ではない。
問題は、その人間がどの段階で、何を見ることができ、何に逆らえるのかである。

たとえば採用の現場を考えてみる。

応募者が履歴書を送る。AIがそれを読み、スコアをつけ、順位をつけ、通過・保留・不合格の候補に分ける。人間の採用担当者は、AIが整理した一覧を見る。そこには「おすすめ」「適合度」「リスク」「スキルマッチ」といった言葉が並ぶ。

このとき、最後に人間が「承認」したとして、それは本当に人間の判断なのだろうか。

人間は、AIがすでに作った視界の中で判断している。
AIが低く評価した人は、そもそも目立たない場所に置かれているかもしれない。
AIが不適合とした人は、人間の目に届く前に消えているかもしれない。
AIが赤く塗った項目は、人間にとっても危険に見えてしまうかもしれない。

つまり、人間は最後に見ているのではない。
AIが見た後の世界を見ているのである。

アメリカでは、WorkdayのAI採用ツールをめぐる差別訴訟が進んでいる。裁判資料では、原告側が、WorkdayのAI推薦システムは応募者をスコア化・分類・順位づけ・スクリーニングし、その結果を雇用主に提供していたと主張している。また、多くの場合、応募者はそのスクリーニングを通過しなければ採用プロセスに進めないとも主張されている。もちろん、これは訴訟上の主張であり、最終的な法的判断ではない。しかしここで重要なのは、AIが「最終決定者」ではなくても、誰が人間の前に現れるかをすでに決めている可能性があるという点である。

これは採用だけの話ではない。

融資であれば、AIは返済能力をスコア化する。
福祉であれば、AIは不正受給の可能性を示す。
医療であれば、AIは優先度やリスクを提示する。
SNSであれば、AIはどの画像を危険とし、どの声をノイズとし、どの身体を不適切とするかを決める。

その後に人間が確認していたとしても、すでに世界は並べ替えられている。

ここで登場するのが、Human in the Loopという考え方である。

AIにすべて任せるのではなく、人間を判断過程の中に入れる。これはAI倫理やAI規制の中で重要な概念とされている。EU AI Actでも、高リスクAIシステムについて、人間による監督が可能になるよう設計されるべきだとされており、人間がAIの出力を監視し、解釈し、必要に応じて介入・停止できることが重視されている。(AI Act Service Desk)

日本でも、AI法が2025年6月4日に公布・一部施行され、同年9月1日に全面施行された。内閣府は、AIのイノベーションを促進しつつ、AIにより発生するリスクへの不安に対応するための制度だと説明している。(内閣府ホームページ)

制度の言葉としては、とても正しい。
人間による監督。
適正性の確保。
信頼できるAI。
人間中心のAI。

しかし私は、この「人間」という言葉に立ち止まりたい。

その人間は、何を見ているのか。
その人間は、どこまで逆らえるのか。
その人間は、AIが消したものを見つけられるのか。
その人間は、AIが「異常」「低評価」「不適切」「ノイズ」と分類したものを、もう一度、別の仕方で受け取ることができるのか。

人間がいることと、人間が判断していることは違う。

人間が画面の前に座っていることと、その人間に実質的な権限があることも違う。

もし人間が、AIの出したスコアを短時間で確認するだけなら。
もし人間が、AIの判断を覆すたびに説明責任を負わされるなら。
もし人間が、AIの推薦に従うことを暗黙に期待されているなら。
もし人間が、膨大な候補の中からAIが上位に並べたものだけを見るなら。

その人間は「監督者」ではない。
むしろ、AIシステムの正当性を演出するために置かれた存在である。

技術社会学者のMadeleine Clare Elishは、