タグ: ベンチマーク

AIPerfでLLM推論を測る：同時数と到着率で遅延が変わる仕組み 2026/10/14
LLM推論のベンチマークは、同時数を固定するか到着率で送るかで遅延の意味が変わる。同時数を固定すると、利用者がスループットより速く来たときの待ちが測定値から抜ける。NVIDIA AIPerfの文書とリトルの法則をもとに、飽和点と利用者の待ちを測る手順を示す。
Every Eval Everの必須欄：AI評価記録から得点を測り直せるか 2026/10/3
Every Eval Everは、AIの評価結果を機械可読な記録で公開する共有スキーマ。必須欄はモデル・データセット・評価ハーネスの版・得点などで、トークン上限やツールといったエージェント型評価の設定は任意欄。英国AISIが公開した記録で空の欄の意味も確かめる。
AIエージェントのハーネス自動進化、成果とベンチマークの信頼性 2026/7/29
AIエージェントのハーネス自動進化は方法として前進だが、その数字はまだ実力の証拠にならない。AHE（査読前）はTerminal-Bench 2の同じ89問で進化と評価を行い69.7→77.0%と報告したが、この表は上位提出の抜け穴利用を独立監査に指摘されている。