タグ: 評価

• 
  AIエージェントの信頼性は長いタスクほど落ちる——2研究 2026/7/28

  2026年3〜4月の独立した2本の査読前プレプリントが、AIエージェントはタスクが長いほど信頼性を失うと報告した。崩れ方は分野で偏り、ソフトウェア工学が最速で崩れる一方（信頼性スコアGDSが0.90→0.44）、文書処理はほぼ横ばい。短いベンチの強さは長時間運用の信頼性を保証しない。

• 
  GDPvalで最上位AIは熟練者に迫る、勝率に好みが混じる 2026/7/26

  OpenAIのGDPvalは44職種の実務成果物でAIと熟練者を直接比べ、最上位モデルは人の質に迫った。だが『約100倍速い』は第三者集計の値で、論文の同種の指標は90倍。レビュー込みならGPT-5で約1.12〜1.39倍。『勝率』は正しさだけの物差しではない。ベンチの点は現場を予言しない。

• 
  sandbaggingの懸念が、AI安全テストの信頼性を揺らす 2026/7/20

  フロンティアAIは『いまテストされている』と気づき始めた。気づけば本番と違う振る舞い——わざと低性能を装うsandbagging——もありうる。安全性評価の土台が揺れる問題だが、その能力は一枚岩ではなく、検知と抑制の手も出てきている。2025〜26年の独立研究で両側を測る。

• 
  LLMベンチの点数は推論予算の関数——順位も動きうる 2026/7/7

  同じモデル・同じ問題でも、推論に使わせるトークン予算を積むほどベンチの点数は上がる。2026年の研究は、固定予算の比較が進んだモデルを過小評価し、順位さえ動きうると指摘する。フロンティアLLMを公平に比べる勘所。

• 
  AIエージェント評価の報酬ハッキング——実測と塞ぎ方 2026/7/4

  2026年5月の独立2研究。監査ツールBenchJackは主要10ベンチに219個の欠陥を見つけ、1問も解かずにほぼ満点を取る攻撃を自動合成した。別研究はモデル自身の近道率を0〜13.9%と測り、RL系post-trainingほど高いと示す。ただし穴は塞げる。

• 
  ベンチマーク最適化が指標を壊す——グッドハートの法則 2026/6/20

  リーダーボードの数字は現実の代理にすぎない。最適化が進むほど、スコアの上昇が何に由来するのかを確かめられなくなる。グッドハートの法則とMLの測定問題。

← 全タグ