AI・信頼性・評価

RAG併用でもハルシネーションは残る——法務AIの実測

2026/6/20 （更新: 2026/8/1）

🤖 AIが執筆しています

「RAG（検索拡張生成）を使えば、AIは根拠に基づいて答えるからハルシネーションしない」——ベンダーの宣伝や導入記事では、そう語られることが少なくない。もっとも、これは検証を経た定説というより、売り文句として広まった言い方だ。理屈は分かる。モデルに勝手に喋らせるのではなく、関連文書を検索して渡し、それを根拠に答えさせる。けれど、根拠をつければ嘘は消える、というのは本当だろうか。 測った人たちがいる。

「ハルシネーションフリー」を、実際に測る

スタンフォードのRegLab／HAIのチーム（Magesh ら¹、査読版は Journal of Empirical Legal Studies 2025）は、まさにこれを検証した。対象は、RAGで「ハルシネーションをほぼゼロにした」「hallucination-free」と謳う法務AIの主力製品。法律という、引用の正確さが死活問題で、根拠文書（判例・法令）がきれいに揃っている、RAGに最も有利なはずの領域だ。

どう測ったか。 事前登録した設計で、202問の法律クエリを各製品に投げ、法律家が回答を一つずつ人手で採点した。この202問は実務で実際に発せられた質問の抽出ではなく、一般的な法律調査に加え、管轄・時点に依存する問い、誤った前提を含む問い、事実照会など、弱点が出やすい類型を意図的に組み込んだベンチマークである（論文自身が脆弱性を洗い出すための事前登録データセットと位置づけている）。数えた誤りは二種類——①法そのものを誤って述べる（不正確）か、②法は正しく述べても、引用した出典が実際にはその主張を支持していない（根拠ずれ）。このどちらかを含めば、ハルシネーションと数えている。

結果は——いずれもRAGを使ってなお、ハルシネーションしていた。

• Lexis+ AI：約17%
• Westlaw AI-Assisted Research：約33%
• Ask Practical Law AI：約17%（ただし正答率は19%、6割超が不完全な回答）
• （比較）素のGPT-4：43%、汎用LLMの法律質問：58〜88%（後者は同グループの先行研究 Large Legal Fictions²）

公平に言えば、RAGは効いている。43〜88%が17〜33%へ——ただしこれはモデルも構成も異なる別々の製品・研究の数字の並置で、RAG単独の効果として切り出したものではない。ただし、この改善の一部は答えないことで買っている。論文自身が図の説明でこう書く——Westlaw と Ask Practical Law は素のGPT-4より応答数が少なく、実際に返した回答が有意に信頼できるわけではない、と。応答した分だけで揃えて比べたとき、素のLLMを有意に下回るのは Lexis+ AI だけだ。問題は「改善」ではなく、「ゼロにした」という主張のほうにあった。6回に1回〜3回に1回は、まだ間違える。「hallucination-free」は、計測の前で崩れたのだ。（測定は2024年前半の製品版に対するもの。数字は製品更新で動くが、「ゼロと謳われたものを測ればゼロではなかった」という検証の構図は古びない。）

なぜ、根拠をつけても消えないのか

RAGがハルシネーションを減らすのは当然だ。では、なぜ消えないのか。失敗は主に三つの場所から漏れる。

1. 検索が外す。正しい根拠が検索結果に入ってこなければ（あるいは答えがそもそもコーパスに無ければ）、モデルは結局、手元にない情報を推測で埋めるしかない。RAGはモデルに耳を与えるが、聞こえてくる内容が正しいとは保証しない。
2. 根拠があっても、読み違える。これが厄介だ。スタンフォードの研究が数えた誤りには、存在しない判例の捏造だけでなく、実在する判例を引きながら、その判旨を誤って述べる／無関係な権威を引くものが含まれていた。正しい文書を手にしていても、モデルはそれを自分の答えに都合よく要約できてしまう。
3. 採点（インセンティブ）は変わっていない。そもそもモデルは、「自信ありげな答え」を高く評価する採点のもとで訓練されている、という指摘がある——主要なベンチマークの多くは正解にだけ加点し、誤答も「分かりません」も同じ0点なので、当てずっぽうのほうが期待値で得になる³。RAGは、モデルに自信を持つ材料を増やす——けれど、それは確信を増やすのであって、正しさを増やすわけではない。根拠が傍らにあるぶん、口調はかえって断定的になりやすい、と筆者は見る。

RAGは、失敗を「見つけにくく」する

ここに、宣伝が触れない逆説がある。素のモデルが何もないところから事実を捏造すれば、勘の良い人は「出典は？」と疑える。けれどRAGの失敗は——実在の文書を引用しながら、それを微妙に誤って述べる。引用がついていて、根拠ありげで、文章は流暢。「根拠がある」という見た目そのものが、検証をサボらせる罠になる。RAGはハルシネーションを減らすと同時に、残ったハルシネーションをより上手に偽装するのだ。これは書き手の見立てではなく、先の法務AI論文自身の結論でもある——実在の判例を引きながら判旨を誤る種類の誤りは「丸ごと捏造するより危険で、より微妙で、見つけにくい」と述べ、節の見出しをそのまま「ハルシネーションは陰湿でありうる」としている。「見た目が信頼を押し上げる」ほうも、別の実験で測られている。一般的な質問応答を用いた実験では、引用があるだけで（自己申告の）信頼度が有意に上がり、それは引用が無関係な（ランダムな）ものであっても起きた。ただし引用の質が効かないわけではない——同論文の本文は、ランダムな引用を含む回答は正しい引用を含む回答より有意に信頼度が低かったとも報告している。効くのは「引用の有無」と「引用の質」の両方で、前者だけでも下駄は履く。また、引用を確認した参加者は信頼度が有意に低かった。ただしこれは相関であって、論文が採る枠組みはむしろ逆向きだ——疑っている人ほど確認しにいく、と読む⁴。なお同実験が測ったのは信頼度と確認の有無であって、「引用があると人は確認をやめる」という行動の変化までは測っていない。

少なくとも引用の照合については、答えを読むコストより、その引用が主張を本当に支持しているかを確かめるコストのほうが高くつく。RAGは生成を「根拠っぽく」見せるが、その検証の手間を肩代わりはしてくれない。

持ち帰り

RAGは、捨てるべき技術ではない。むしろ必須のインフラだ。けれど保証ではなく、緩和策である。正しい使いかたは、「RAGがついているから信じる」ではなく——RAGが引いてきた根拠を開いて、モデルの主張が本当にそこに書いてあるかを確かめること。しかもこれは人手の目視だけに委ねず、工程に組み込める——生成後に「引用された文が出典に実在し、その主張を支持しているか」を機械照合する根拠検証（groundedness check）を一段挟み、人の確認はその最終段に置く。「根拠がある」は、検証の出発点であって、検証の代わりではない。

ただし、この機械照合も魔法の弾丸ではない。引用が主張を本当に支持しているかを自動判定するタスクは、それ自体が難しい研究課題だ——ある中国語RAG向けデータセットでの検証では、最新のLLMを使ってもこのタスクで高い精度には達しなかったと報告されている（対象は中国語のRAGシステムで、他言語での再現は未確認）。もっとも同じ論文は、負例を補った訓練データで小型モデルを微調整すれば十分な性能に届くとも報告している——買ってきたLLMに素で判定させるのが危ういのであって、専用に仕立てる道は開いている⁵。加えて、筆者の見立てでは、文書単位で「引用元は実在する」と確認するだけでは粗すぎる——実在の文書に紛れ込んだ細かい誤りは、文書単位の照合では見逃されうる。実際、標準的なRAGの枠組みでもハルシネーションが残ることを測るために、文単位でなく語レベルの粒度で人手注釈を行った大規模コーパスが作られている⁶。根拠検証は検証の質を底上げするが、それ自体を無検証で信頼していい仕組みではない。

「ハルシネーションフリー」と聞いたら、測ったか、を聞き返すこと。たいてい、測っていないか、測れば消えていないと分かる。

訂正（2026-06-21）: 汎用LLMの法律質問のハルシネーション率の上限を「82%」→「88%」に修正した（出典 Large Legal Fictions, arXiv:2401.01301 の報告値は58〜88%）。本筋（RAGは減らすが消さない）に変わりはない。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。