タグ: 論文解説

ロボット評価の試行回数は何回必要？成功率の差を1行で検算する 2026/8/17
ロボット評価の試行が10回だと、成功率40ポイントの差でも差の95%区間が0をまたぐことがある。観測された差が同じなら、20回でどの内訳でも0を外れる（本稿の再計算）。差の区間を1行で検算する方法と、初期状態の統制も要る理由を説明する。
RAGでハルシネーションは防げる？減っても消えない理由 2026/6/20
RAGはハルシネーションを減らすが、消しはしない。スタンフォードの論文では、RAGで回避したと訴求した法務AI3製品でも回答の17〜33%がハルシネーションを含んだ（2024年前半の製品版）。実在の判例を引いて中身を誤る型は見つけにくい、と論文は書く。
LLMの自信は当てになるか：キャリブレーションの評価方法とRLHFの影響 2026/6/20
LLMのキャリブレーションとは、モデルが付けた自信と実際に当たる割合が一致しているかを見ること。ECEの計算を例で示す。GPT-4の報告書（自社測定）はMMLUの一部でECEが0.007から0.074へ悪化と報告した。測れるのは内部確率と申告確信度で、RLHF後の口ぶりは測定の外だ。