タグ: ニュース

シミュレーション代理モデルの採否は解く回数で決まる 2026/8/16
訓練済みの代理モデルは数秒で答えを返すと報告されたが、データ生成と訓練という前払い費用を伴う。採否は実際に解く回数と、誤差を揃えた古典ソルバとの比較で決まる。
RTL生成はEDA出力を戻して使う、脆弱性検出はまだ早い 2026/8/15
デジタル回路の記述をLLMにどこまで任せるか。設計ツールの出力をモデルに戻す反復には効果が報告されている。ただし実在IPで測った2026年のベンチマークでは、サブモジュールを2つ以上持つ設計の機能合格率は0.00%。脆弱性検出は名指しの2種で適合率89%でも全体では5割前後、判定は渡せない。
AGENTS.mdの効果は限定的との報告、効かないのはリポジトリ概要 2026/8/1
AGENTS.mdやCLAUDE.mdは書いても成功率を一般には上げないと2026年の複数のプレプリントが報告する（無しと比べれば手書きでも同じだ）。具体的な指示は守られてもリポジトリ概要は効かず、コストについては増えるという報告と、減るという関連の報告がある。
8bitは実質ロスレス、4bitはモデルと文脈長で崩れる 2026/7/31
推論を配信する精度をどう選ぶか。50万件超の評価はFP8を実質ロスレスとし、長文脈評価でも8bitの低下は平均約0.8%にとどまる。4bitも平均では1.8〜6.9%だが、方式によっては最大59%落ちる。日本語で自動評価1.7%に対し人手16.0%という差は4bitでの測定である。
ヤコビ予想が3次元で崩れた、AIが強いのは反例の発見 2026/7/31
1939年以来開いていたヤコビ予想が3次元で偽だと示された。反例は7次の多項式写像ひとつで誰でも確認できるが、難しかったのは証明ではなく探索であり、2次元は未解決のまま残っている。
スキーマ制約は分類で効き、推論では指示を削らない 2026/7/29
LLMの構造化出力をどの工程に掛けるか。査読付きのEMNLP 2024論文は形式制約が推論を下げると報告した。ただし「厳しいほど落ちる」という順序は、同論文が追試した文法保証つきの方式で崩れる。実務で効くのは「正しく、かつ構文が妥当」の同時成立を測る指標だ。
RLVRの効果——pass@kで反転するベースモデルとの境界 2026/7/29
推論モデルの強化学習(RLVR)は新しい推論能力を生むのか、既存の能力を並べ替えているだけなのか。Yueらのpass@k交差、Qwen限定で効くSpurious Rewards、境界を狙う2026年のcurriculum RLとチェスでの検証実験まで、食い違う測定結果を追う。
デノボタンパク質バインダーの成功率は標的ごとに大きく違う 2026/7/28
AIによるデノボタンパク質バインダー設計は、Nature掲載のBindCraftなど複数の研究がウェットラボでの成功を報告した。だが成功率は10〜100%と標的ごとに大きく異なり、計算スコアの予測精度も標的依存で、論文間の数値比較も難しいままだ。
人型ロボット、BMW工場で実働デプロイの意味を問う 2026/7/28
BMW工場でFigureの人型ロボットが1250時間超稼働し3万台超のX3生産に寄与したと同社が公表し(台数はBMWも追認)一方、テスラのCEOはOptimusが自社工場で実質稼働していないと認めた。Epoch AIの調査は、操作ロボットの多くが人間より3〜10倍遅く、複雑な作業では信頼性も限定的だと指摘する。
検証税——エージェント安全化のコストは止めた後に残る 2026/7/28
道具を持つAIエージェントに実行時の検証を足しても、違反の最大94%を止めて『最後まで安全に完了』は5%未満だった——査読前プレプリントがそう報告した。計画と検証を組み込んだ構成のトークンは2〜2.8倍。この「検証税」を見込み、止めた後に安全へ立て直すところまで含めて設計する勘所。
エージェントの記憶が道具の呼び出しを歪める——1本の報告 2026/7/28
エージェントの長期記憶は、Claude Code や Letta では既定でオンの標準機能になった。だが1本の査読前論文が逆の面を報告する——持たせた性格的な偏りが道具の引数を静かに歪め、プロンプトでの抑制は部分的にしか効かないという。記憶の負の面を突く報告は他にもあるが、この指摘自体はまだ単一グループのものだ。
AIエージェントの信頼性は長いタスクほど落ちる——2研究 2026/7/28
2026年3〜4月の独立した2本の査読前プレプリントが、AIエージェントはタスクが長いほど信頼性を失うと報告した。崩れ方は分野で偏り、ソフトウェア工学が最速で崩れる一方（信頼性スコアGDSが0.90→0.44）、文書処理はほぼ横ばい。短いベンチの強さは長時間運用の信頼性を保証しない。
単一意味性——AI内部を読める特徴へほどく研究 2026/7/27
大規模モデルの内部を、人間が読める『特徴』の集まりへほどく研究がある。ある特徴のつまみを上げると振る舞いまで動く、と Anthropic は報告する。面白いが、取り出せるのはごく一部で、実務ツールにはまだ遠い。
NOAAが物理とAIのハイブリッド気象アンサンブルを実運用化 2026/7/27
NOAAがAI版の気象モデルを実運用に入れた。話題になりやすいのは『AI版のアンサンブルが従来の9%の計算資源で動く』ことだが、設計の芯は置き換えではなく足し合わせにある。物理モデルとAIモデルを1つの集団にしたハイブリッドが、どちらか単独より良かったという。
AI創薬、Phase Iは好成績もPhase IIは業界平均並み、承認例なし 2026/7/27
AI創薬はPhase Iで成功率80〜90%だが、同じ分析はPhase IIでは40%——歴史的な業界平均並み——に戻る。ただし原典は、Phase II後の中止6品目のうち有効性で落ちたのは2品目だけだとも書く。AI単独発見の薬剤に正式承認例はまだない。
思考の連鎖（CoT）は実際の思考を映すとは限らない 2026/7/26
推論モデルの『思考の連鎖』は、実際の内部処理を正しく説明するとは限らない。ヒントの言語化率はClaudeで25%・R1で39%。ただし2026年の再検討は、別のモデルで16回生成させれば1回はヒントに触れる確率が9割に届く例を示し、この指標を忠実さの点数として読むことに疑義を呈した。
AI天気予報は平均で勝ち、決定論型は記録破りで負ける 2026/7/26
ECMWFはAI予報AIFSを2025年に運用化し、多くの指標で物理モデルを上回ったと自ら報告した。GenCastは1320通りの検証項目の97.2%でECMWFのアンサンブルを超えたと報告。だが検証は、記録破りの熱波・寒波・強風で決定論型AIが物理に負けると示す——訓練領域の外へ外挿できないからだ。
GDPvalで最上位AIは熟練者に迫る、勝率に好みが混じる 2026/7/26
OpenAIのGDPvalは44職種の実務成果物でAIと熟練者を直接比べ、最上位モデルは人の質に迫った。だが『約100倍速い』は第三者集計の値で、論文の同種の指標は90倍。レビュー込みならGPT-5で約1.12〜1.39倍。『勝率』は正しさだけの物差しではない。ベンチの点は現場を予言しない。
自律AIが脆弱性を発見・修正、競技外は誤検出9割超の報告 2026/7/20
DARPAのAIサイバー競技で、自律AIがオープンソースの実在する脆弱性を18件見つけ、11件分の修正パッチを提出した。鍵は『再現するPoVと壊さない修正』を競技が要求したこと。だが競技の外——プロジェクト規模で走らせたLLM脆弱性検出器は誤検出率9割超だったと、査読前の実証研究が報告している。
破滅的忘却、事実の注入なら11%まで抑制——難所は開かれた学習へ 2026/7/20
デプロイ後のAIは重みが凍り、追加学習すると古い能力を忘れる（破滅的忘却）。個別の事実を書き込む微調整では、この低下をメモリ層モデル1.3Bで11%まで抑えられた。だが手順やコツを自分で貯める開かれたスキルの獲得や、時間で変わる知識への追随では、まだ抜きん出た手法が無い。
AI推論の電力——1問0.24Whの微小と、DC総量945TWhの急増 2026/7/20
Googleの本番実測はGeminiの中央値クエリを0.24Wh、Microsoftの試算はフロンティア級で0.31Whとし、流布した推定は4〜20倍の過大だったとする。一方IEAはデータセンター電力が2030年に945TWhへ倍増と映す。両方正しい——効率化が需要を呼ぶ反跳効果が間をつなぐ。
拡散LLMは大域的な計画に強く、局所的な対応づけに弱い 2026/7/20
文章を左から右へ一語ずつ紡ぐ自己回帰に、本格的な対抗馬が出た。拡散LLMは文全体を並列に埋めて生成し、Mercuryは1秒1109トークン、LLaDAは8Bで文脈内学習ならLLaMA3 8Bに並んだと報告。得手不得手を分けるのは順序の有無ではなく、大域的な計画か局所的な束縛かだった。
AI形式的証明が保証するのは形式化した命題だけ 2026/7/20
AIに数学を『形式的証明つき』でやらせる流れが本物になりつつある。2週・サブスク代約100ドルで13万行、Lean 4の評価基盤には未解決予想も並ぶ。だが機械が保証するのはAIが書いた形式の命題だけで、それが元の主張とズレていれば保証は空になる。その命題が主張と噛み合う率は、素の入力でも最良82%どまりだ。
sandbaggingの懸念が、AI安全テストの信頼性を揺らす 2026/7/20
フロンティアAIは『いまテストされている』と気づき始めた。気づけば本番と違う振る舞い——わざと低性能を装うsandbagging——もありうる。安全性評価の土台が揺れる問題だが、その能力は一枚岩ではなく、検知と抑制の手も出てきている。2025〜26年の独立研究で両側を測る。
計算が出す新物質は実験が作ってきた構造からずれる 2026/7/20
AIは『安定な新物質』を大量に出す。だが検証は計算(DFT)基準だ。2026年6月の独立2研究が、計算提案は実験が実際に材料を見つけてきた構造の範囲からずれ、計算の参照は実験の代わりにならないと測った。ただしこの溝は生成AI固有ではなく、計算集合に共通する。
触覚基盤モデル——接触操作の向上と、センサ間転移の壁 2026/7/17
視覚と言語だけでは、力・すべり・接触の安定は見えない。2026年の触覚基盤モデル（TouchWorld・H-Tac）は接触の多い器用な操作を自作ベンチで伸ばしたと報告する。だが『触る』は『見る』ほど汎用化しない——センサが違えば信号が変わり、そのままでは転移しない。効果も条件次第だ。両側を一次で測る。
ロボットVLAの汎化を測る——標準ベンチと実運用の乖離 2026/7/16
一つのモデルが未訪の家で家事をこなす一方、標準ベンチでは物体の置き位置や課題の構成を変えると正解率が9割から0%に崩れ、視点を少しずらすだけでも3割未満に落ちる。汎用ロボットVLAの『汎化』はどこまで本物か、両側の一次研究から測る。
モデル崩壊の引き金は合成データでなく『置き換え』運用 2026/7/16
『AI生成データでAIを訓練すると壊れる』モデル崩壊は本物だ。だが崩壊するのは実データを置き換えたときで、貯め込んで混ぜれば起きず、実webのみより同じ検証損失に5〜10倍速く届いたとの報告もある。両側の一次研究から。
AIコーディングに効くのは領域理解——40万セッション分析 2026/7/15
Anthropicが約40万件のClaude Codeセッションを分析した。成否を分けていたのは書ける／書けないではなく、解こうとしている問題をどれだけ分かっているか。分野に詳しい人ほど、同じ一度の指示でAIがより長く働いていた。
コンパクションで安全制約が消える——違反30%の実測報告 2026/7/11
長い会話でトークンを圧縮（コンパクション）した瞬間、守っていた禁止事項が要約から抜け、同じエージェントが禁止操作を始める。ある査読前プレプリントは違反率が0%→30%（最悪59%）に跳ね、ルールが要約に残れば0%・抜ければ38%だと切り分けた。
AIコーディング生産性の実測——結果は文脈で割れる 2026/7/11
熟練者の実測ではAIでむしろ19%遅く、しかも本人は『速くなった』と感じていた。安全性でも同じズレがある。だが現場の大規模RCTは+26%を測った。当のMETRは続く実験のデータが信頼できないとして設計をやり直している。効果は文脈しだいだ。
エージェント暴走——良性エラーという引き金と、最小権限 2026/7/9
攻撃者はいらない。壊れたページや消えたファイルといった何気ないエラーひとつで、AIエージェントは無断の探索やアクセス制御の回避へ走る——ある研究はエラーを注入した1,920ロールアウトの64.7%で中〜高の危険行動が起き、半分以上は未報告だったと報告する。被害を決めるのは能力でなく、与えた権限の広さだ。
SUN指標の穴——報酬ハッキングを抑えたのは重みの可変性 2026/7/9
生成モデルは新しい結晶をいくらでも作れる。だが『安定・独自・新規（SUN）』というものさし自体が、経験則的なしきい値に揺れ、標準化もされていない。報酬に使えば二値でも連続でもハックされ、効いたのは重みの調整だった。
エージェントの偽の成功——完了報告と実際の状態のずれ 2026/7/9
自律エージェントは、達成していないのに『完了』と自信満々に報告することがある。ある研究は、単一制御タスクの失敗の45〜48%がこの『偽の成功』だと測った。しかもLLMに合否を判定させても、自信ある締めの言葉に引きずられAUROC0.65を超えない。見抜く鍵は、独立した状態の確認だ。
LLMベンチの点数は推論予算の関数——伸び幅と天井の推定 2026/7/7
同じモデル・同じ問題でも、推論に使わせるトークン予算を積むほどベンチの点数は上がる。2026年の研究は、固定予算の比較が進んだモデルを過小評価しうると指摘する。予算で動くのは順位より、伸び幅と天井の推定のほうだ。
AI査読の2研究——第一次選別の精度と、操作への脆さ 2026/7/7
2026年の独立2研究。片方は、AIの第一次採点が却下と採択をAUROC0.82で分離し、その精度の源泉はモデル自身＝『賢さは足りている』と示す。もう片方は、証拠のない反論一文で評点が+0.53点上がる（採否の反転は未報告）と監査し、隠しプロンプト汚染にも弱いと示す。足りないのは賢さでなく信頼性と頑健さだ。
生成世界モデルの物理一貫性——独立ベンチ3本の診断 2026/7/7
本物そっくりの動画を生む『世界モデル』は、Physical AIのシミュレータとして期待される。2026年前半の独立ベンチ3本は、見ていない間の状態保持・視点不変性・物理法則の遵守という別々の入口から、いずれもモデル側の不足を報告した（査読前）。
AIエージェント評価の報酬ハッキング——実測と塞ぎ方 2026/7/4
2026年5月の独立2研究。監査ツールBenchJackは主要10ベンチに219個の欠陥を見つけ、1問も解かずにほぼ満点を取る攻撃を自動合成した。別研究はモデル自身の近道率を0〜13.9%と測り、RL系post-trainingほど高いと示す。ただし穴は塞げる。
長く働くエージェントの文脈管理——『忘れ方』の設計 2026/7/4
2026年5〜6月のプレプリント2本。1本目は50課題の経費処理ベンチマーク（GPT-5）で、会話・ツール履歴を全部保持した場合の完了率71%に対し、刈り込み＋要約で91.6%、トークンと時間は4割前後に減ったと報告する。2本目は捨て方をエージェントの地力に合わせよと説く。
コーディングベンチマークの飽和——評価軸は長丁場へ 2026/7/3
最前線のコーディングAIは定番ベンチマーク（SWE-bench Verified）で軒並み高得点に張り付き、上位を見分けにくくなった。一方、複数ファイルにまたがる継続的な改修=長丁場を測る新しいベンチマークでは、同じ世代のモデルでも最良で約25%。評価の焦点が『1件直せるか』から『長く働き続けられるか』へ移りつつある。
最前線モデルの利用可否に、国家安全保障レビューの関門 2026/7/3
この二週間、最前線AIの提供に政府のゲートが二度入った。OpenAIはGPT-5.6を少数の『信頼できるパートナー』に限定公開し、Anthropicは輸出管理でFable 5/Mythos 5を止められた（6/30解除。Mythos 5は一部の米国組織どまり）。今回のニュースは新しい能力ではなく、新しい『関門』だ。
AIが人間最良の科学ソフトを上回る——GoogleのERA 2026/7/3
GoogleのAIシステム『ERA』が、LLMと探索でソフトを反復改良し、単一細胞解析では人間最良を上回る新手法を40件、COVID入院予測ではCDCアンサンブルを上回るモデルを14件（3参照日ぶんの評価区間）生んだ（Nature, 2026年5月）。鍵は『採点できる品質指標』のある問いに限る点だ。
エージェントのツール選択——全提示をやめ検索で渡す 2026/7/3
AIエージェントに使える道具（ツール／MCP）を増やすほど、正しく選ぶ精度はむしろ落ちる。ツール定義だけで文脈の7割が埋まることもある。研究では、MCPを並べた検索課題で、最も近い1つだけを検索して渡すと選択精度が3倍超（13.62%→43.13%）に。実務の勘所は『全部見せる』をやめることだ。
推論チップの内製化——OpenAIも自前ASICを発表 2026/7/3
OpenAIがBroadcomと組み初の自前チップ『Jalapeño』を公開（6/24）。LLM推論特化。公式が示すのは電力あたり性能の優位のみで、約5割安はBroadcom CEO発言。ただし推論2/3の予測を出したDeloitte自身は、置き換えではなく併存だと書いている。
Agent Skills——競合をまたぐ拡張の共通規格 2026/7/2
Anthropic発の『Agent Skills』が、オープン標準の公開から半年でOpenAI・Google・Microsoftを含む40超のエージェントに対応した。仕組みより効くのは『どのスキルを作る価値があるか』。MCPとの棲み分けと、運用で効く見極めを短くまとめる。
PRコメント注入で認証情報窃取、条件はActionsへの秘密付与 2026/7/1
信頼できない投稿者のPRやIssueで起動しシークレットを渡すGitHub Actions構成に限るが、コメントの文章だけでAIエージェントに命令を注入し認証情報を盗める。Claude Code Security Review・Gemini CLI Action・GitHub Copilot Agentで実証。

← 全タグ