AI・信頼性・評価
AIの成果物を、任せられるものにする
AIに記事の下書きを書かせると、主張には出典がつき、注も整い、一読すると直すところが見当たらない。ところが引用元を一本ずつ開いて確かめると、本文が「その論文はこう述べている」と書いた内容が、当の論文には見当たらないことがある。もっともらしい要約が、原文にない一文を静かに足している——生成された引用の相当数が捏造や誤りを含むことは、実際に測定されている1。
AIに何かを頼むと、最初に返ってくるものは、たいてい驚くほど整っている。体裁の良い文章、それらしいコード、よどみのない説明。問題はそのあとだ。本当に使おうとした瞬間から、細かい綻びが見えはじめる。事実が一つずれている。前提が黙って入れ替わっている。指示したはずの条件が、いつのまにか抜けている。綻びは例外ではない。セキュリティに関わる場面で生成させたコードの約4割が既知の脆弱性を含んでいた、という調査もある2。もっともらしい出力ほど、渡す前の検査を素通りしやすい。
「作らせる」ことは、もう難しくない。生成側の価値は小さくない。Copilotを使った開発者は同じ課題を55.8%速く終えたという報告もある3。だが速く出てくることと、安心して次へ渡せることは別の話だ。難しいのは、返ってきたものを、その状態にすることのほうだ。手元でとりあえず動くことと、検証なしでそれに頼れると言い切れることのあいだには、はっきりした距離がある。この距離を詰める作業こそ、ここで扱う主題だ。
手のかかる場所は、モデルの外にある
モデルは速く伸びている。AIが自律的に完遂できるタスクの長さは、約7か月で倍になっているという計測もある4。だが、この、出典の合っていない下書きをまともにするのに要るのは、次に来るより賢いモデルではない。「引用元を実際に開いて、本文の主張と一つずつ照合する」という手間だ。むしろ話は逆で、任せられる範囲が広がるほど、その成果を確かめる負荷はこちら側に積み上がる。書かせる前の段取りと、渡す前の検査。手がかかる場所は、モデルが賢くなっても消えず、たいていこちら側に残る。
この、AIにより大きく頼るための外側の仕組みを、この連載ではハーネスと呼ぶ。登山のハーネスが「落ちないための拘束具」である以上に、「確保されているからこそ、より難しい一手に踏み込める道具」であるのと同じだ。防御が目的ではない。安心して手放せる量を増やすための投資である。
ハーネスには二つの側がある。ひとつは渡す前の制御——どこまでやれば完了か(DoD)、スコープの外はどこか、前提と文脈を、生成させる前に決めて渡す。出力が生まれる前に形を与える側だ。もうひとつは受け取ったあとの締め——検証し、必要ならやり直す。世間で「ハーネス」と聞いて思い浮かぶのはたいてい後者(事後のチェック)だが、前者の生成時点の設計も同じくらい効く。検証・レビュー・手順・道具は、その手段にすぎない。返ってきたものを任せられるものにできるかは、たいていこのハーネスの設計で決まる——そしてハーネスが効くほど、人はAIにより大きく頼れるようになる。
速いが間違えるものを、信頼して渡せる成果に変える——この課題自体は新しくない。分業、レビュー、品質管理として、人はずっと同じ問題を扱ってきた。新しいのは、その相手がAIになったことだ。だから使える蓄積は使い、AIゆえに効かない所だけを作り直す。
見るべきは、モデルの性能ではなく、このハーネスの作り方だ。速く出させることは、もう出発点にすぎない。学ぶべきは、返ってきたものを検証し、渡す前に設計する——その勘所を自分の手で組めるようになることだ。次に来る賢いモデルを待つのではなく、その組み方を一つずつ身につけることが、AIにより大きく、安心して頼るための足場になる。
出典
-
[negative] W. H. Walters & E. I. Wilder, “Fabrication and errors in the bibliographic citations generated by ChatGPT,” Scientific Reports, vol. 13, 14045 (2023). AIが生成した引用の相当数が捏造で、残りにも誤りが多い——もっともらしさと正しさは別で、出力の検証こそが要という裏づけ。 https://doi.org/10.1038/s41598-023-41032-5 ↩
-
[negative] H. Pearce, B. Ahmad, B. Tan, B. Dolan-Gavitt & R. Karri, “Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions,” IEEE Symposium on Security and Privacy (2022). セキュリティに関わる状況で生成させたコードの約4割が既知の脆弱性を含み、もっともらしい出力ほど渡す前の検査が要ると示す。 https://doi.org/10.1109/SP46214.2022.9833571 ↩
-
[positive] S. Peng, E. Kalliamvakou, P. Cihon & M. Demirer, “The Impact of AI on Developer Productivity: Evidence from GitHub Copilot,” arXiv:2302.06590 (2023). Copilot利用群は課題を55.8%高速化——「作らせる」こと自体の価値は大きい、というAIに有利な一次証拠。だからこそ本稿は、価値の重心が「作らせたあと」に移ると論じる。 https://arxiv.org/abs/2302.06590 ↩
-
[positive] T. Kwa, B. West, J. Becker, et al. (METR), “Measuring AI Ability to Complete Long Tasks,” arXiv:2503.14499 (2025). AIが自律完遂できるタスク長は約7か月で倍増——生成側の能力は着実に伸びているというAIに有利な観測。伸びるほど、検証と受け渡しの設計が追いつくかが問われる。 https://arxiv.org/abs/2503.14499 ↩
この記事はAIが下書きし、人間が編集・公開しています。