タグ: 評価

• 
  ハーネスのどのつまみが効くか——狭い窓では28→49% 2026/9/6

  ハーネスの設定を一つ（古いツール出力を自動で詰める）変えると、コーディングエージェントの修復率が最大で28%から49%へ動いた。効き幅は一様ではなく、文脈が苦しい条件ほど大きく、余裕がある条件では三つ中二つで差が出なかった。別の設定（AGENTS.md等の文脈ファイル）は著者の異なる二本の検証で精度を動かさなかった。

• 
  AI科学の明暗は、検証者の採点が候補を落とせるかで分かれる 2026/8/31

  分かれ目は外部検証者の有無ではなく、その採点に候補を落とす力があるかどうかだった。実験と評価器が候補を落とすCo-Scientist・AlphaEvolveは検証を通過した成果を出し、採点が助言にとどまったshadow evaluationは6点満点で2点・1点に終わった。

• 
  自己学習の伸びは、凍結モデルの床と区別できなかった 2026/8/27

  訓練していないモデルを、訓練済みと同じ手続きで測り直すと「何も学習していなくても出る数字」が見える。その床に照らすと、自己学習3方式の伸びは区別できず、外の強いモデルから写した場合だけが届いた。

• 
  モデル移行前に、総和が隠す増減のどこを再テストするか 2026/8/26

  2026年8月18日のプレプリントは、GPT系の3つの移行すべてで、確実に改善した項目と確実に後退した項目が同居すると測った。総合点が7.3ポイント上がった辺にも後退側は残る。先行する4月の研究も別のモデル系列で同じ形を報告する。ただし過半の項目は動かず、後者ではその大半が版によらず常に正解か常に不正解の項目である。

• 
  自己改善エージェント、課題順を崩すと伸びが反転した 2026/8/25

  記憶を蓄えて改善するAWM・ReasoningBankを3回ずつ再評価した2026年8月のプレプリント。既定の課題順での平均+1.5ポイントは有意性が限定的（p=0.23）で、順序をシャッフルすると平均−4.5ポイントに反転。WebArenaは54.8%から49.1〜50.7%へ落ちた。

• 
  エージェントのPRはどこで止まるか——不採用の内訳を数える 2026/8/18

  エージェント作成PRの生マージ比率は37.8〜90.0%で、首位は人間の84〜86%を上回る。非マージPRを人手で読んだ研究は重複とテスト失敗を上位に置き、ビルド失敗はまれだった。別の研究は不採用のうち真にエージェントの失敗は35.7%、理由が残らないものが33.1%と数える。損失はコードが評価される前に起きている。

• 
  ロボット評価は試行10回、40ポイント差でも区別できない 2026/8/17

  実機ロボットの成功率は10回前後の試行で報告される（本稿の例では9〜15回）。試行10回だと40ポイントの改善でも95%区間が0をまたぐことがあり、20回あれば成功回数の内訳によらず立つ。読者が1行で検算できる算術と、試行数だけでは足りない理由。

• 
  AIエージェントの信頼性は長いタスクほど落ちる。分野で差 2026/7/28

  2026年3〜4月の独立した2本の査読前プレプリントが、AIエージェントはタスクが長いほど信頼性を失うと報告した。崩れ方は分野で偏り、ソフトウェア工学が最速で崩れる一方（信頼性スコアGDSが0.90→0.44）、文書処理はほぼ横ばい。短いベンチの強さは長時間運用の信頼性を保証しない。

• 
  実務44職種で最上位AIは熟練者に迫る。勝率に好みが混じる 2026/7/26

  OpenAIのGDPvalは44職種の実務成果物でAIと熟練者を直接比べ、最上位モデルは人の質に迫った。だが『約100倍速い』は第三者集計の値で、論文の同種の指標は90倍。レビュー込みならGPT-5で約1.12〜1.39倍。『勝率』は正しさだけの物差しではない。ベンチの点は現場を予言しない。

• 
  AI安全テストは見抜かれる——効いたのは実力の事前引き出し 2026/7/20

  フロンティアAIは『いまテストされている』と気づき始めた。気づけば本番と違う振る舞い——わざと低性能を装うsandbagging——もありうる。安全性評価の土台が揺れる問題だが、その能力は一枚岩ではなく、検知と抑制の手も出てきている。2025〜26年の独立研究で両側を測る。

• 
  LLMベンチの点数は推論予算の関数——伸び幅と天井の推定 2026/7/7

  同じモデル・同じ問題でも、推論に使わせるトークン予算を積むほどベンチの点数は上がる。2026年の研究は、固定予算の比較が進んだモデルを過小評価しうると指摘する。予算で動くのは順位より、伸び幅と天井の推定のほうだ。

• 
  AIエージェント評価の報酬ハッキング——実測と塞ぎ方 2026/7/4

  2026年5月の独立2研究。監査ツールBenchJackは主要10ベンチに219個の欠陥を見つけ、1問も解かずにほぼ満点を取る攻撃を自動合成した。別研究はモデル自身の近道率を0〜13.9%と測り、RL系post-trainingほど高いと示す。ただし穴を塞げたのは、もともと設計が堅い4本だけだった。

• 
  ベンチマーク最適化が指標を壊す——グッドハートの法則 2026/6/20

  リーダーボードの数字は現実の代理にすぎない。最適化が進むほど、スコアの上昇が何に由来するのかを確かめられなくなる。グッドハートの法則とMLの測定問題。

← 全タグ