タグ: ベンチマーク
- 自己進化ハーネスは人間設計を超えたと報告——採点表に疑義 2026/7/29
ハーネスを自動で進化させる研究が、人間設計を超えたとベンチで報告した。方法は前進だ。だが看板の数字が乗る Terminal-Bench 2 は、上位提出が採点の抜け穴を突いていたと独立監査に指摘された表であり、転移先の SWE-bench も漏洩が繰り返し実証されてきた。信頼度の異なる採点表を、分けて読む。
ハーネスを自動で進化させる研究が、人間設計を超えたとベンチで報告した。方法は前進だ。だが看板の数字が乗る Terminal-Bench 2 は、上位提出が採点の抜け穴を突いていたと独立監査に指摘された表であり、転移先の SWE-bench も漏洩が繰り返し実証されてきた。信頼度の異なる採点表を、分けて読む。
