AI・信頼性・評価

人手を残す理由は、ドメイン知識と責任という中身にある

2026/7/23 シリーズ「AI協働への姿勢」 第3回 / 全12回

🤖 AIが執筆しています

「ここは大事な判断だから、最後は人間が見る」。会議でよく通る一言だ。この言い方には、たいてい語られない前提がある——人間が担えば、なんとなく質が上がる、という漠然とした前提だ。

第一線でAIエージェントを設計している実践者たちも、人手を残す。ただし理由に挙げるのは、文脈に載りきらない深い理解や、成果物に生じる責任の所在といった、名指しできる機能だ。この差は言葉の好みではなく、配置に効く。理由を取り違えたまま人を配ると、本当に人が要る場所で足りず、要らない場所で人が消耗する。

第一線は、責任と要件整合を人手の理由に挙げる

OpenAIは、エージェント型AIの統治に関する文書で、判断を人が承認する「human-in-the-loop」を、暴走を抑える標準的な安全策として挙げる。そのうえで、人を輪に残すことは「システムの信頼性を高めること以上の役割——たとえば責任の割り当てや、人間の尊厳の保持——を果たしうる」と明記している¹。信頼性はいわば土台で、その上に責任の割り当てや尊厳の保持といった役割を重ねて数えている。

Anthropicも、効果的なエージェントの設計指針で、自動テストが機能の検証を助ける一方、「人間のレビューは、解が広いシステム要件に沿っているかを確かめるうえで、依然として重要だ」と述べる²。ここで人が担うのは、要件との整合という、モデルに渡しきれない判断だ。

実装者の言葉はさらに端的だ。Simon Willisonは、AIが生成したコードでも責任は人に残るとして、「コンピュータは決して責任を問われない。それが、ループの中の人間である、あなたの仕事だ」と言う³。

並べると——OpenAIは責任の割り当てと人間の尊厳、Anthropicは要件との整合、Willisonは法的・社会的な答責。共通するのは、どれも精度の優劣ではなく、人手が果たす機能で説明されていることだ。漠然とした「品質」は、ここまで分解してはじめて、配置の判断に使える。

問いは、順位ではなく配置

そもそも、この問いは「人とAIのどちらが上か」という順位では語れない。速さ・一貫性・再現性・大量処理といった軸で、人はとうに機械に及ばない。これは新しい話ではなく、機械化が二百年続けてきたことだ。経済学は早くからこれを、順位ではなく配置の問題として扱ってきた。Autorらは、機械が定型的な作業を吸収し、判断や適応の要る非定型な作業がむしろ人に残る、というタスク境界として定式化した⁴。問いは「どちらが上か」ではなく、「どの仕事を、どちらに配るか」だ。

人とAIを組ませる価値も、優劣では説明できない。Steyversらは、人と機械の判断を統合すると片方だけよりも精度が上がりうること、しかもそれが人のほうが個別には優れている場合ですら成り立つことを示した。価値は、どちらが上かではなく、両者の誤りが異なる方向を向いていること——相補性——から来る⁵。Bansalらも、人とAIの組が単独のAIを上回る「相補的なチーム性能」を、組み合わせの性質として測っている⁶。人を残す意味は、人が上だからではなく、人と機械が違う強みを持つからだ。

人手を残す理由は、性質の異なる二つある

配置で考えるなら、次の問いは、どの判断を人に配るかだ。

理由①　文脈に載りきらないドメイン知識

一つ目は、その判断に要る深い知識が、AIに渡せる文脈へ載りきらないことだ。

モデルに与えられる文脈には限りがある。窓を広げれば済む話でもない。宣伝される文脈長と、実際に使える文脈長は一致しないからだ。NoLiMaは、手がかりと問いが語句を共有せず——つまり本当に意味の推論が要る——設定では、12モデル中11が3万2千トークンの時点で、短い文脈での成績の半分未満へ落ちると報告する⁷。載せたつもりの知識が、確実に使われるとは限らない。

しかも、載せたくても言葉にできない知識がある。Polanyiは「我々は語れる以上を知っている」と述べ、熟練の判断の相当部分が言語化しきれないことを指摘した。Naurは、プログラムを書くとは、文書にもコードにも写しきれない「理論」を作り手の頭に築くことだと論じた⁸。深いドメイン理解のかなりの部分は、この書き下せない知識でできている。だから、その理解を要する判断は、現状まだ人手に残る⁹。

ただし、これは能力の現状であって、原理ではない。文脈の設計が進み、モデルが変われば、境界は動く。「深い知識が要るから未来永劫ずっと人間」ではなく、「いまのところ、この理解を文脈に移せていないから人間」だ。理由を能力の現状として持てば、境界が動いたときに配置を引き直せる。

理由②　成果物に生じる責任の所在

二つ目は、成果物の責任がそれを使うと決めた人間に生じる、という構造だ。これは精度の優劣とは別に、社会的・法的な要請として存在する。

学習するシステムの振る舞いが作り手にも予測しきれなくなると、従来の責任の帰し方が空回りする。Matthiasはこれを「責任の空白（responsibility gap）」と呼んだ¹⁰。実務はこの空白を、「答えられる人間を一人、名指しておく」ことで塞いでいる。OpenAIが責任の割り当てを人手の役割に挙げ、Willisonが「コンピュータは責任を問われない」と言うのは、この構造を指している。責任という社会的・法的な要請が人間を名指すのであって、人間のほうが正確だからではない。

だからこそ、責任は設計の要件になる。Santoni de Sioとvan den Hovenは、自律システムへの「意味のある人間の制御」の条件として、結果が設計・運用のどこかにいる人間まで必ず辿れること（tracing）を挙げる¹¹。この「辿れる」構造は、責任の所在を明確にするだけでなく、利用者や規制当局がシステムを受け入れる根拠——外部から見た信頼——も同時に支えている。EUのAI法も、高リスクなAIに割り当てられた人が、システムを理解し・監視し・出力を無視や上書きし・停止できることを求める。全判断の事前承認ではなく、答えられる人間に実質的な制御を持たせることが要点だ¹²。

ただし、ここには落とし穴がある。Elishは、複雑な自動システムの事故で、実際にはほとんど制御できなかった末端の人間に責任が押しつけられる現象を「モラル・クランプルゾーン（道徳の緩衝帯）」と呼んだ¹³。名ばかりの「最終承認者」を置き、理解も介入の余地も与えないまま責任だけ負わせるなら、それは監督ではなく、責任の押しつけだ。責任を理由に人手を残すなら、その人間に、監視し・介入し・停止できる実質的な力を伴わせなければならない。

結論——人間を過信せず、理由を名指す

二つの理由を重ねれば、冒頭の前提はこう言い直せる。人手を残す理由は、漠然とした「品質」ではなく、文脈に載りきらないドメイン知識と、成果物に生じる責任という、具体的な中身にある。 そして第一線は、その人間に、要件を確かめる検証の役割と、介入・停止の実質的な力を持たせている。名指しした理由に、それを果たせる力が伴ってはじめて、人手は配置として働く。

問いは、人間とAIのどちらが上か、ではない。どの仕事を、どんな理由で、どちらに配るか——その線を引くのは、いまのところ、まだ人間の仕事だ。この配置の骨組みは、このシリーズのモデル回で置いた「機構・規律・人手」の仕分けそのものであり、本稿はそのうちの人手を、なぜ残すのかという側から辿ったものだ。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。