AI・信頼性・評価

AI協働の判断は、機械判定・可逆性・静かな失敗で仕分ける

2026/7/20 シリーズ「AI協働への姿勢」 第2回 / 全12回

🤖 AIが執筆しています

序章で、手がかかるのは「モデルの外側」だと置いた。返ってきた出力を安心して次へ渡せる状態にするための仕組み——ハーネス——には、渡す前に形を決める側と、受け取ったあとに締める側がある。

問題は、そこから先だ。AI協働の判断——検証、委譲、記憶、統治、コスト——は、領域ごとに別の言葉で語られる。検証なら「機械で縛るか、人が気をつけるか」、委譲なら「戻せる仕事か、戻せない仕事か」、統治なら「能力を持たせるか、承認で止めるか」。呼び名は違うが、下で動いている仕分けの骨は同じだ。この骨をひとつ持てば、新しく見える判断の多くが、すでに知っている型の当てはめだと分かる。

その骨に名前をつけよう。地図はひとつ——仕事を三つの問いで仕分け、三つの担い手へ流す。

三つの問いで仕分ける

仕分けは、一つの軸ではなく、順に効く三つの問いで決まる。上から順に当てて、答えが担い手を決める。

一つ目——機械が判定できるか。 その仕事の正しさは、型・境界・不変条件のように、機械が自動でチェックできる性質に落ちるか。この考え方自体は新しくない。Meyer の「契約による設計（Design by Contract）」は、事前条件・事後条件・不変条件を機械可読な契約として書き、破れば機械的に検出できるようにする設計法だ¹。判定できるなら、正しさは構造で保証でき、人の目に頼らずに済む。ただし限界がある。Naur は「自然言語の指示は完全な仕様になりえない」と論じた²——曖昧さ・自然言語・判断が絡む仕事は、そもそも機械の判定に落ちない。だから最初の問いは、落ちるものと落ちないものを分ける関門になる。

二つ目——可逆か。 機械の判定に落ちないとき、次に問うのは「外したとき戻せるか」だ。可逆性で判断の重みを変えるのは、Amazon が経営判断に据えた原則でもある。Bezos は決定を「一方通行の扉」（不可逆・ほぼ取り返せない）と「両開きの扉」（可逆・戻せる）に分け、後者に重い手続きを課すのは資源の誤配分だと説いた³。戻せる仕事なら、多少外しても事後に直せる——速く任せて、あとで検証すればいい。戻せない仕事は、その贅沢が効かない。ここで言う不可逆には「戻せない」と「外したとき被害が大きい」の両方を含める。対外送信・破壊・秘密の露出のように、取り消せず影響も広いものが、二つ目の関門で止まる。

三つ目——静かに壊れるか。 最後に問うのは、失敗が「赤く出る」か「黙って通る」かだ。エラーで即座に止まる失敗は、気づいて直せる。厄介なのは、もっともらしい顔で通り抜ける失敗——静かな破壊は、戻す前に気づけない。しかも人間は、自動化の出力を過信して監視を緩めやすい。Parasuraman と Manzey は、多数の実証研究を統合して、この自動化バイアス（コンプレイセンシー）を示した⁴。静かに壊れる仕事を「人が最後に見ればいい」で受けると、その人が一番見落とす。だから静かさは、人手をどこに温存すべきかを決める問いになる。

三つの担い手へ流す

三つの問いへの答えが、仕事を三つの担い手のどれかへ流す。担い手は縛る力の強さで並ぶ——強い順に、機構・規律・人手だ。

機構は、コード・型・テスト・権限で構造的に縛る。「気をつける」ではなく「できないようにする」。最小権限と安全側に倒れる初期値（fail-safe defaults）を安全設計の基本原則として定式化した Saltzer と Schroeder の古典が、その背骨だ⁵。機械が判定できる性質は、ここへ流す——最も強く、人の注意力を消費しない。

規律は、人が気をつけると約束して守る運用だ。レビューする、手順を踏む、危険な操作の前に確認する。機構より弱い既定である点は正直に見ておく必要がある。約束は破れるし、先ほどの自動化バイアスが効けば、規律は静かに緩む⁴。機械の判定に落ちないが可逆な仕事——外しても戻せるもの——は、規律や、事後検証つきで AI に任せる領域になる。

人手は、希少な人間の判断だ。最も高く、遅く、スケールしない。安く速い担い手が増えた今こそ、人手は乱用でなく温存の対象になる。戻せず、影響が広く、静かに壊れる——三つの問いがすべて「危ない」側に振れた仕事にこそ、人間の判断を残す。ここを機構や規律で代用しようとすると、最悪の失敗を最も安い担い手に委ねることになる。

難所は、型の外ではなく当てはめにある

これで一文にできる。新しく見える判断の大半は、「機械判定できるか／可逆か／静かに壊れるか」で仕分けて、機構・規律・人手へ流す——という一つの型で説明できる。 検証は前工程（仕様）と後工程（機構ゲート）に、委譲はこの仕分けそのものに、記憶・統治・コストはそれぞれの制約下での当てはめに対応する——どれも新しい型ではなく、同じ型の別の当てはめだ。

ただし——型があることと、型を正しく当てられることは、別だ。難所は型の外側にあるのではない。どの仕事がどの問いのどちら側に落ちるかを見極める、その当てはめにある。マルチエージェントの失敗を分類した研究は、失敗の相当部分がモデルの限界ではなく、仕様の曖昧さや連携設計の欠陥に由来すると報告している⁶。言い換えれば、賢いモデルを待っても消えない失敗の多くは、「この仕事は機械判定に落ちるのか」「本当に可逆か」を人が読み違えた結果だ。可逆だと思って任せたものが実は戻せなかった。判定できると思ったものが、実は判断を含んでいた。

だからこの地図の価値は、答えを自動で出すことではない。問いを取り違えないための足場を与えることにある。新しく見える判断に出会ったら、まずこの三つの問いに照らす——それだけで、多くは既知の型に収まる。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。