タグ: 論文解説

• 
  RAG併用でもハルシネーションは残る——法務AIの実測 2026/6/20

  根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは強力な緩和策だが、治療ではない——そして失敗の形を、より見つけにくいものに変える。

• 
  LLMの過信は測れる——RLHFが較正を崩す傾向 2026/6/20

  「自信」には測れるものと測れないものがある。内部確率と申告確信度は較正を測れるが、口ぶりは誰も測っていない。GPT-4の報告書はMMLUの一部でECEが0.007から0.074へ悪化したと報告し、Lengらは報酬モデルの偏りが過信を生むこと、そしてそれが直せることを示した。

• 
  ハルシネーションは採点ルールへの最適応答でもある 2026/6/20

  ハルシネーションは神秘でも、ただの設計上の宿命でもない。残り続ける大きな理由は、ベンチマークが「自信ある当てずっぽう」を採点で得させ、「分かりません」を罰していることにある。そして、そこは直せる。

← 全タグ