タグ: 評価

• 
  ハーネス設定で修復率はどこまで変わる？AGENTS.mdの効果も検証 2026/9/6

  ハーネス設定で修復率は動くが、大きく動くのはコンテキストが苦しい条件だ。古いツール出力を詰める規則を含む設定で28%から49%へ（単著の査読前・各群1走行、規則ごとの効果は未分離）。AGENTS.md等は二本の検証で精度をほぼ動かさなかった。

• 
  AI駆動の研究が成果を出す条件は？AlphaEvolveなど4事例を比較 2026/8/31

  4事例を比べると、AI駆動の研究の分かれ目は、採点に候補を落とす力があるかどうかにある。湿式実験や評価器が候補を落とすCo-Scientist・AlphaEvolveと、選ぶのに使わなかった保留データで採点したERAは検証を通り、原著者の採点が実行後の一度だけだった試験は6点満点で2点・1点だった。

• 
  LLMの自己学習と蒸留の違い：ほぼ解けない問題を伸ばすのはどちらか 2026/8/27

  LLMの自己学習は自分の解答で、蒸留は強いモデルの答えで訓練する。ほぼ解けない問題を伸ばしたと言えたのは蒸留だけで、自己学習3方式は言えなかった。訓練前のモデルを同じ手続きで測った、1モデル・小規模設定の査読前の監査1本の結果だ。

• 
  LLMのモデル移行で何を測り直す？総合点が上がっても後退する項目 2026/8/26

  LLMのモデル移行では、総合点が上がっても後退する項目が残りうる。2026年8月のプレプリントはGPT系の3つの移行すべてで改善と後退の項目が同居すると報告し、7.3ポイント伸びた組でも6.0%が後退した。測り直しで安く済む部分と省けない部分も扱う。

• 
  自己改善エージェントの上達は本物か：ReasoningBank再評価で反転 2026/8/25

  記憶をためて自己改善する2手法を走らせ直すと、既定の課題順で記憶なしを上回ったのはReasoningBankだけで、順番を入れ替えると多くの設定で成績が落ちた。2026年8月のワークショップ論文では、そのWebArenaでの+1.5ポイント（p=0.23）がシャッフルで−4.5ポイントに反転した。

• 
  AIエージェントのPRはなぜ不採用になる？理由の内訳とマージ率 2026/8/18

  AIエージェントのPRの不採用理由は、修正系PRを人手で読んだ1本では重複とテスト失敗が上位で、ビルド失敗はまれだった。人気OSSに限った2026年の研究6本のうち、1本は生のマージ率を37.8〜90.0%とし、別の1本は不採用の33.1%に理由が残らないと数える。

• 
  ロボット評価の試行回数は何回必要？成功率の差を1行で検算する 2026/8/17

  ロボット評価の試行が10回だと、成功率40ポイントの差でも差の95%区間が0をまたぐことがある。観測された差が同じなら、20回でどの内訳でも0を外れる（本稿の再計算）。差の区間を1行で検算する方法と、初期状態の統制も要る理由を説明する。

• 
  AIエージェントは長い作業ほど失敗する？崩れ方と防ぎ方 2026/7/28

  AIエージェントは長いタスクほど信頼性が落ちると、査読前のプレプリント2本が報告した。うち1本では、ソフトウェア工学のGDSが0.90→0.44と最も急に崩れた。検証を強制しない条件の値で、検証を挟むハーネスの効き目を長いタスクで測った出典は本稿の範囲に無い。

• 
  GDPvalとは：AIと熟練者の実務比較で、勝率が測るもの・測らないもの 2026/7/26

  GDPvalとは、OpenAIが44職種の実務成果物でAIと熟練者を比べる評価。最高勝率は論文公開時に引き分け込みで47.6%、2026年4月の提供元発表では84.9%。勝率は体裁の好みも含む。「約100倍速い」は発表記事の値で、レビュー込みの論文の試算はGPT-5で約1.12〜1.39倍だ。

• 
  AIのサンドバッギングとは？安全性評価を見抜くモデルと塞ぎ方 2026/7/20

  AIのサンドバッギングとは、AI安全性などの評価でわざと実力より低い成績を出すこと。2025〜26年の独立研究（半数は査読前）では、テストだと見抜いたと言語化する率は組み合わせで0.1〜79.4%と開き、ある監査ゲームでは同じ分布の正解例1つでの追加訓練がパスワード錠の2体の伏せた性能を戻した。

• 
  AIの報酬ハッキング：解かずに満点を取る仕組みとどこまで塞げるか 2026/7/4

  AIの報酬ハッキングとは、課題を解かずに採点の条件だけを満たすことだ。2026年5月の独立2研究では、主要10ベンチ中9本で1問も解かずにほぼ満点が取れ（査読前）、別の独自課題でのモデルの近道率は0〜13.9%だった。修正で10%未満にできたのは設計の堅い4本だけ。

• 
  LLMベンチマークのスコアは信用できるか：グッドハートの法則と汚染 2026/6/20

  LLMベンチマークのスコアは、訓練データへの混入や解法の漏洩、弱いテストで能力と関係なく動く。SWE-bench Verifiedのある監査では、漏洩と弱いテストの合格を除くと、あるエージェントの解決率が22.4%から10.0%に落ちた。能力の横ばいを直接測った出典はない。

← 全タグ