タグ: 検証

• 
  倒立振子をLQRと強化学習で比べる：学習コストとLQRの遅延の限界 2026/9/2

  倒立振子をLQRと強化学習で比べると、LQRは学習なしで1000ステップ立ち続けた。REINFORCEは約4万3千ステップ学習しても535。80msの遅延を足すとLQRも倒れる。MuJoCoでの本稿の小さな実験で、ブラウザでも試せる。

• 
  Hugging Face侵入事件、AIエージェントはなぜ侵入したか：経路と防御 2026/9/2

  手違いで解けない評価課題を与えられたエージェント群が、採点をごまかす手がかりを求めてHugging Faceへ侵入した。入口は公開されていた認証情報で、内部への経路はデータセット処理系の二つの欠陥だった。外部の調査3名が現地で6日間検分し、届いた範囲と届かなかった範囲の両方を自ら書いている。

• 
  推論モデルは安全性が落ちる？拒否が両方向にずれる実態と防ぎ方 2026/8/31

  推論モデルは、作り変えの訓練で安全面の振る舞いが既定では保たれず、断りすぎと断り漏れが同時に増えうる。ある変換経路では無害な設問の正答率が半分以下に落ちた。1.5B〜14B規模を調べた査読前の監査の報告で、訓練中に手当てできるという報告もある。

• 
  医療QAでLLMの思考連鎖を壊すと？30種の摂動で見た忠実性 2026/8/31

  医療QAでLLMの思考連鎖（CoT）を壊しても正答率はほぼ動かなかったと、監査論文1本が報告した。変化の中央値はほぼ0ポイントで、設問の患者属性・否定・重症度を書き換えても、CoTがそれを記録せず答えも変えない割合はオープン11モデル全体で72.9%。

• 
  AI出力の検証はどこまで自動化できる？CIで止める違反と人が見るもの 2026/8/1

  AI出力の検証は、機械が判定できる違反をCIなどのゲートで止め、判定できず戻せない誤りに人手を残す。軽く戻せるものはサンプリング監査で流す。確信度を正しさと取り違えない読み方と、組み違えたゲートが緑を返す限界も扱う。

• 
  AIエージェントに人の確認が必要な理由：ドメイン知識と責任 2026/7/23

  AIエージェントに人の確認が必要な理由は、コンテキストに入りきらないドメイン知識と、成果物の責任の二つに整理できる。OpenAIやAnthropicの設計文書、EUのAI法を引くが、知識の理由は本稿の組み立てで、責任は止める力が伴わなければ名ばかりになる。

• 
  AIの数学証明はLeanで確かめれば正しい？保証される範囲 2026/7/20

  AIの証明をLeanで確かめても、保証されるのはAIが書いた形式の命題が証明できることまでだ。その命題が元の主張と意味的に一致した率は、素の入力でも最良のモデルで82.0%（競技数学など・ワークショップ論文1本）。2週で13万行を形式化した査読前の実験も扱う。

• 
  AI生成コードのコードレビューは何を見る？目的・被害・仕様 2026/7/16

  AI生成コードのレビューは、変更の性質ごとに見る深さを変える。機械が判定できる性質は検査に、戻せない変更は人の精査に、戻せる変更は抜き取りに回す。根拠はレビューの目的を知識と規範の移転に置くGoogleの事例研究で、同じ著者の書物は独立の裏づけではない。

• 
  シミュレーションの信頼性はどう確かめる？V&Vと検証範囲の外の危うさ 2026/7/4

  シミュレーションの信頼性は、実測と突き合わせる妥当性確認の手続きと、その届く範囲で決まる。ASME V&V 20とNASAの規格、範囲の外で使われたコロンビア号の損傷予測ツールCrater、比較の公平さが揃わないML代理モデルの研究を例に示す。

• 
  AIエージェントはなぜ長い作業で失敗する？成功率の掛け算と評価方法 2026/6/21

  AIエージェントが長い作業で失敗する一因は、成功率の掛け算にある。各ステップ95%でも誤りを直さず20回続ければ、成功率は4割を切る（独立と仮定した計算）。実際は自分の誤りが次の誤りを誘い、より速く崩れることもある。ベンチの数字が評価方法で動く点も示す。

• 
  AIの材料発見はどこまで使えるか：効く段階と過大評価の3例 2026/6/21

  AIの材料発見は、計算で安定な候補を絞る段では効くが、新材料の発見者と呼ぶには早い。GNoME・A-Lab・MatterGenの3発表と学術誌での批判を並べ、既知物質との一致や乱れた相の見落としを指摘された関門を示す。

• 
  RAGでハルシネーションは防げる？減っても消えない理由 2026/6/20

  RAGはハルシネーションを減らすが、消しはしない。スタンフォードの論文では、RAGで回避したと訴求した法務AI3製品でも回答の17〜33%がハルシネーションを含んだ（2024年前半の製品版）。実在の判例を引いて中身を誤る型は見つけにくい、と論文は書く。

• 
  LLMの自信は当てになるか：キャリブレーションの評価方法とRLHFの影響 2026/6/20

  LLMのキャリブレーションとは、モデルが付けた自信と実際に当たる割合が一致しているかを見ること。ECEの計算を例で示す。GPT-4の報告書（自社測定）はMMLUの一部でECEが0.007から0.074へ悪化と報告した。測れるのは内部確率と申告確信度で、RLHF後の口ぶりは測定の外だ。

• 
  脳データのノイズとは？瞬きやドリフトが検出を狂わせる仕組み 2026/6/19

  脳データに乗る瞬きや電極のドリフトは構造を持つ別の信号で、課題と相関すればデコーダはそれも学ぶ。合成デモでは検出率が97%あるうちに偽の検出が出始める。15データセットの研究は、補正は精度をほとんど動かさないが交絡を除くために勧めるとした。

← 全タグ