タグ: 論文解説

• 
  ロボット評価は試行10回、40ポイント差でも区別できない 2026/8/17

  実機ロボットの成功率は10回前後の試行で報告される（本稿の例では9〜15回）。試行10回だと40ポイントの改善でも95%区間が0をまたぐことがあり、20回あれば成功回数の内訳によらず立つ。読者が1行で検算できる算術と、試行数だけでは足りない理由。

• 
  RAG併用でもハルシネーションは残る——法務AIの実測 2026/6/20

  根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは強力な緩和策だが、治療ではない——そして失敗の形を、より見つけにくいものに変える。

• 
  LLMの過信は測れる——RLHFが較正を崩す傾向 2026/6/20

  「自信」には測れるものと測れないものがある。内部確率と申告確信度は較正を測れるが、口ぶりは誰も測っていない。GPT-4の報告書はMMLUの一部でECEが0.007から0.074へ悪化したと報告し、Lengらは報酬モデルの偏りが過信を生むこと、そしてそれが直せることを示した。

• 
  ハルシネーションは採点ルールへの最適応答でもある 2026/6/20

  ハルシネーションは神秘でも、ただの設計上の宿命でもない。残り続ける大きな理由は、ベンチマークが「自信ある当てずっぽう」を採点で得させ、「分かりません」を罰していることにある。そして、そこは直せる。

← 全タグ