In Silico

AI・信頼性・評価

LLM要約はどこまで信用できる？落とした内容が見えない理由と使い分け

2026/6/27 （更新: 2026/11/3）

🤖 AIを使用して執筆

  • LLM要約
  • 自然言語処理
  • LLM
  • CAMS
  • SummHay
  • NLI
  • 非可逆圧縮
  • 誤り信号
  • 幻覚
  • 忠実性
  • 但し書き
  • 抽象型要約
  • 網羅
  • ポインタ
  • 確信度
  • トリアージ
  • JPEG
  • MP3
  • チェックサム
  • 圧縮率
  • 元文書
  • コンプライアンス
  • 平衡正解率
  • 含意関係
  • RAG
  • SummaC
目次
背景・問い・要点
背景

「とりあえずLLM（Large Language Model、大規模言語モデル）に要約させる」は本当に便利で、長い文書の要約は日々の仕事の一部になった。まず要約を読み、必要なら原文に戻る。そういう読み方をする人は多い。

要約は、元の文書から情報を捨てて短くする。捨てた情報は要約から戻せないので、要約は非可逆圧縮の一種である。捨てること自体は要約の本質で、問われるのは、何をどれだけ捨てたかが読み手に見えるかどうかだ。

自然言語処理の研究は、要約が原文にない内容を作る誤りと、拾うべき要点を落とす誤りの両方を測ってきた。ただしその測定は研究の評価の場で行われるもので、ふだん要約を読む人の手元の出力には付いてこない。

問い

標準的なLLMの要約は、どこまで信用して使えるのか。

要点

標準的なLLM要約は、落ちた一文が行動を変えない用途までなら使える。行動を左右する主張では、読む側は根拠となる原文の段落を要約に挙げさせ、その段落を原文で確かめる。

標準的なLLM要約は、何を落としたか・歪めたかを知らせない。但し書きを一行落とした要約も、要点をすべて捉えた要約も、読み手には同じに見える。根拠の段落だけを確かめても別の段落にある但し書きの欠落は拾えないので、行動を反転させうる場面では、読む側は適用範囲や例外を定めた箇所まで原文で読む。

モデル・例示

但し書きを一つ落とした要約は、落とさない要約と読み手から区別できない

※ この節の例は、説明のために作った架空のものです。

要約が落とした但し書きは、要約の文を読んでも、残った主張を原文で確かめても見つからない。十二段落の運用手順書を、二通りに要約するとする。手順書の第3段落は「古いログは毎週このスクリプトで消す」と書き、第9段落は「ただし監査期間中のサーバーでは実行しない」と書いている。

要約Aは五文で、第3段落と第9段落の両方の内容を含む。要約Bも五文で、第3段落の内容は含むが第9段落の但し書きを落とし、代わりに別の段落の補足を一文入れている。どちらも文は整い、言い切りの調子も同じで、何を省いたかを示す印はどちらにも付いていない。

要約Bだけを読んだ人は、監査期間中のサーバーでもスクリプトを走らせる。「スクリプトで消す」の根拠を要約に聞けば第3段落が返り、第3段落を開けばその記述は正しいと確かめられる。それでも第9段落は開かれないので、落ちた但し書きは見つからない。

この例から、次の2点が言える。

  1. 要約Aと要約Bの違いは、要約の文だけを見ても分からない。違いが分かるのは、原文の第9段落と並べたときだけである。
  2. 要約に残った主張の根拠を原文で確かめても、要約から消えた但し書きは見つからない。確かめた第3段落は正しく、欠けているのは開かなかった第9段落の内容である。

要約には「誤り信号」がない

ここで言う誤り信号とは、圧縮で何をどれだけ落としたか・歪めたかを読み手に知らせる数字や印のことだ。現状の標準的なLLM要約には、この誤り信号がない。「何をどれだけ歪めたか」を測れないのは要約ツールの側の問題である。

画像や音声の非可逆圧縮（JPEGやMP3）では、情報を捨てた度合いが圧縮率という数字で見える。ネットワークでは、チェックサムが合わなければデータが再送される。LLM要約の標準的な出力には、これに当たる数字も印も付かない。出力の文はいつも整っていて、言い切りの調子で書かれる。そのため、決定的な但し書きを一行落とした要約と、要点をすべて捉えた要約は、読み手から見て区別がつかない。

作られた内容の側は測られている。2020年の Maynez らは、当時の抽象型要約モデル（原文の文を抜き出すのではなく、新しい文を生成して要約するモデル。LLMではない）がニュース記事を一文に要約した出力を人手で評価した。原文と矛盾する・原文にない内容を作る「幻覚」を、注釈者3人がそろって1語以上に付けた要約は、7割を超えた1。ただしこの比率は機械に固有の欠陥を指すものではない。同じ表で人手執筆の参照要約は76.9%と最良モデル（73.1%）を上回っている。著者らは、参照要約に原文にない内容が多い理由を、それが記事の前に置かれた導入の一文であるというデータセットの性質に帰している。明らかに機械に偏るのは原文と矛盾する型で、その割合は人手の7.4%に対しモデルは16.9〜19.9%だった。この研究が測っているのは作られた内容であって、落とされた内容ではない。

落とされた内容の側を測る試みもある。SummHay という評価課題は、拾うべき要点が分かっている合成の文書群を作り、長コンテキストの LLM（長い入力を一度に読めるモデル）と、50 の RAG（Retrieval-Augmented Generation）系（検索で選んだ文書をモデルに渡して書かせる系）に、質問つきの要約を書かせた。要点の網羅（拾うべき要点ごとに、全部拾えば100点、一部だけなら50点として平均した得点）だけを見ると、検索器と要約モデルの組み合わせによって36.2%から83.9%まで開き、関連する文書を正しく与えれば上位の系は人手の推定値（74.5%）を上回った。網羅と出典の正しさを合わせた得点では、同じ条件で人手の推定値（56.1%）を上回ったのは o1-preview の1系だけだった2。

複数の情報源が食い違う場面での落としを測った報告もある。CAMS は、そうした事例を集めた245件のデータセットで、出典を引かせたend-to-end型のLLM要約でさえ、文書ごとに異なるとして注釈された事実の41%しか拾えず、情報源間の食い違いにいたっては18%しか表に出さないと報告している3。CAMS の報告では、表に出なかった残りはたいてい、食い違いを示さないまま単一の合意値にまとめられる。

文が整っていて言い切りの調子であることは、内容の正しさを保証しない。閉じた質問応答では、モデルが正解を「知っている」場合でさえ、入力のわずかな揺れで誤った内容を高い確信度で述べてしまう現象が報告されており、確信の強さを信頼性の代理指標として使うことの危うさが指摘されている4。ただし同論文は緩和策も併せて提案しており、著者ら自身はそれを「最適には程遠い」と断っている4。要約で同じことが起きるかは、本稿が引く範囲では測られていない。

要約に落としが無いことを確かめる最も確実な方法は、元文書を読み直すことだ。しかし元文書を全部読み直すなら、要約は要らない。

歪みを知らせる信号が無いことは、要約という操作に必然ではない。自動で忠実性を推定する研究は実際に進んでいる。要約と原文の含意関係を NLI（Natural Language Inference）モデル（ある文が別の文から導けるかを判定するモデル）で判定して矛盾を検出する手法は、6つの矛盾検出データセットをまとめた平衡正解率で74.4%を達成したと報告されている（2022年・LLM 以前の要約モデル出力での測定）5。この精度は完璧ではないが、無ではない。さらに、要約の各文を原文の該当箇所に構造的に紐づけ、検証を「その箇所を開くだけ」にまで単純化する手法も提案されている（CAMS の著者自身は忠実性を保証はせず「促す」にとどまると断っている）63。標準的なLLM要約に歪みを知らせる信号がないのは、要約が原理的に検証不能だからではなく、今のところそれが標準搭載されていないからだ。

安全に使える要約と、気づかずに誤る要約

要約を使ってよいかは、要約の精度の高低だけでは決まらない。決めるのは、落ちた一文が読み手の行動を変えるかどうかである。

安全に使える場面は、取りこぼしのコストが小さいところに限られる。大量の文書のトリアージ（どの文書を先に読むかの振り分け）、全体の雰囲気の把握、「これは精読する価値があるか」の判断がそれにあたる。ここでは要約は、どの文書を開くかを決めるために使われる。要約を見て「読む」と判断した文書が実は不要だったなら、次のステップで元文書を開いた時点で誤りに気づける。「読まない」と判断した文書が実は必要だった場合は、誰もその文書を開かないので、誤りに気づく機会が無い。

誤りに気づかないまま損害が出るのは、意思決定、契約・コンプライアンスの確認、医療や設定値の手順である。これらは落ちた一つの但し書きが取るべき行動を反転させる領域である。「ただし本番環境を除く」「ただし同意がある場合に限り」。この種の条件は、文書全体のごく一部の文字数しか占めない。結論を左右するのに分量は少ないので、短くするときに最初に削られてもおかしくない。そして但し書きが無くても要約の文は整って読めるので、読み手は欠落に気づかない。

ポインタとして使う

要約は、元文書の代わりに読むものとして使わない。元文書のどこを開くかを示すポインタとして使う。

行動を左右する主張については、どの段落が根拠かを要約自身に出させ、その段落だけを原文で読む。こうすれば全文を読み直さずに、要約に残った主張が原文と合っているかを確かめられる。要約の主張が原文と食い違っていても、開くべき段落の見当はつく。

ただし、この照合で確かめられるのは要約に残った主張だけである。根拠の段落とは別の段落にある但し書きが落ちていても、この照合では拾えない。また、根拠の段落を示すポインタ自体も要約の出力であり、指し先が外れていることはある。そのため行動を反転させうる領域では、根拠の段落だけでは足りず、適用範囲や例外を定めた箇所まで原文で読むしかない。

出典6件

  1. J. Maynez ほか「On Faithfulness and Factuality in Abstractive Summarization」ACL, 2020. https://aclanthology.org/2020.acl-main.173/ — LLM以前の要約モデルで幻覚は73.1〜79.3%、参照要約も76.9%。モデルに偏るのは原文と矛盾する型（人手7.4%、モデル16.9〜19.9%）。 ↩

  2. P. Laban ほか「Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems」EMNLP, 2024. https://aclanthology.org/2024.emnlp-main.552/ — 要点既知の合成文書群で、質問つき要約を網羅と出典で採点。合算で人手推定56.1を超えたのは o1-preview（58.2）だけ。 ↩

  3. S. Guan「Faithful by Construction: Claim-Anchored Attribution for Multi-Document Summarization」arXiv, 2026. https://arxiv.org/abs/2606.23989v2 — UBS AG の単著・査読前・被引用0（2026-10）。原文に紐づける手法。忠実性は保証せず促すと断る。 ↩ ↩2

  4. A. Simhi ほか「Trust Me, I’m Wrong: LLMs Hallucinate with Certainty Despite Knowing the Answer」Findings of EMNLP, 2025. https://arxiv.org/abs/2502.12964 — 閉じた質問応答で、正解を知るモデルが小さな摂動で高確信の誤答を出すと報告。緩和策も示す。 ↩ ↩2

  5. P. Laban ほか「SummaC: Re-Visiting NLI-based Models for Inconsistency Detection in Summarization」TACL, 2022. https://aclanthology.org/2022.tacl-1.10/ — 要約と原文の含意関係をNLIで判定して矛盾を検出し、6データセット平均の平衡正解率74.4%を報告した。 ↩

  6. A. Slobodkin ほか「Attribute First, then Generate: Locally-attributable Grounded Text Generation」ACL, 2024. https://aclanthology.org/2024.acl-long.182/ — 先に原文の該当箇所を選び、それを条件に生成して、その箇所を出力の細かな出典にする手法。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。