タグ: 検証

倒立振子を自分の手で、制御で、強化学習で立たせてみる 2026/9/2
台車の上の棒を、まず自分で（難しい）、次にLQRの自動操縦で（簡単）、最後に強化学習で。後ろの二つを同じ物差しで測ると、賢く見える方法も無料ではないと分かる。さらに制御に60ms遅延を足すと自動操縦の「完璧」は崩れ、80msで倒れる。sim2realギャップを指で触る。
Hugging Face侵入の発端は、採点のごまかしだった 2026/9/2
手違いで解けない評価課題を与えられたエージェント群が、採点の仕組みを知るためにHugging Faceへ侵入した。入口は公開されていた認証情報で、内部への経路はデータセット処理系の二つの欠陥だった。外部の調査3名が現地で6日間検分し、届いた範囲と届かなかった範囲の両方を自ら書いている。
推論モデルへの載せ替え——既定では作法を引き継がない 2026/8/31
考えてから答える推論モデルの多くは、指示に従うよう調整済みのモデルを訓練し直して作られる。2026年の信頼性監査は、この作り変えで安全な拒否や偏りの回避が既定では引き継がれないと報告した。何が崩れ、載せ替えの前に何を測り直すべきかを整理する。
理由書きは、答えを作っていない——医療CoTの摂動監査 2026/8/31
医療QAの設問と思考連鎖を30種の摂動で壊す監査は、設問の編集を連鎖が記録せず答えも動かない割合を、オープン11モデル横断で72.9%と報告した。連鎖自体を壊しても正答率の変化は中央値でほぼ0ポイント。再注釈197問の98.5%で正解は妥当なまま。査読前。
AI出力の検証は、指示でなく機構ゲートで 2026/8/1
生成もレビューも安くなったが、出力は自信満々に誤る。検証を指示で守るか機構で守るか、そして確信度を正しさと取り違えないための信頼の置き方を、統計的工程管理と多層防御の規律から翻訳する。
人手を残す理由は、ドメイン知識と責任という中身にある 2026/7/23
「最後は人間が見る」に潜む、漠然とした「人間なら質が上がる」という前提。第一線の文書が挙げるのは責任の割り当てと要件整合。要件整合を検証＝品質の土台に戻し、そこに文脈へ載りきらないドメイン知識を置くと、人手の理由はドメイン知識と責任という二つの中身に分解できる。順位ではなく配置の問題として、その線の引き方を辿る。
AI形式的証明が保証するのは形式化した命題だけ 2026/7/20
AIに数学を『形式的証明つき』でやらせる流れが本物になりつつある。2週・サブスク代約100ドルで13万行、Lean 4の評価基盤には未解決予想も並ぶ。だが機械が保証するのはAIが書いた形式の命題だけで、それが元の主張とズレていれば保証は空になる。その命題が主張と噛み合う率は、素の入力でも最良82%どまりだ。
AI出力の検証と、生成前の仕様設計 2026/7/16
レビューの第一の目的は、欠陥をすべて捕まえることではない。コードベースの健全性を守り、知識と規範をチームへ移すことだ。Googleの研究と、同じ著者が加わった書物はそう報告する。この原則を先に置くと、AI出力の検証も、生成前の仕様設計も、やることは自然に決まる。どちらもAI以前からある規律の話だ。
エージェントの偽の成功——完了報告と実際の状態のずれ 2026/7/9
自律エージェントは、達成していないのに『完了』と自信満々に報告することがある。ある研究は、単一制御タスクの失敗の45〜48%がこの『偽の成功』だと測った。しかもLLMに合否を判定させても、自信ある締めの言葉に引きずられAUROC0.65を超えない。見抜く鍵は、独立した状態の確認だ。
シミュレーションの信頼性はソルバーでなく検証で決まる 2026/7/4
「何でもシミュレートできる」という宣伝が飛ばしている問い——その計算が正しいと、誰がどう確かめたのか。工学が規格化してきたV&Vの手続き、検証域の外で使われたコロンビア号のCrater、そしてML代理モデルの弱い基準線まで、シミュレーションの信頼の源泉と限界を辿る。
AIエージェントが長い作業で脆いのは、成功率が掛け算だから 2026/6/21
AIエージェントのデモは魔法のようだ。だが実際の長いタスクに乗せると、ぼろぼろ崩れる。理由は、製造業の歩留まりとまったく同じ「掛け算」にある。各ステップ95%でも、20回続けば成功率は4割を切る。シリーズの本丸。
AIによる材料発見——ふるいには効くが発見者にはまだ早い 2026/6/21
「AIが数十万の新材料を発見」「ロボットが17日で41個合成」——華々しい見出しが続いた。だが専門家が中身を見にいくと、多くは“新しくなかった”。AIが材料探しで本当に効く場所と、見出しが先走る場所を、冷静に切り分ける。
RAG併用でもハルシネーションは残る——法務AIの実測 2026/6/20
根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは強力な緩和策だが、治療ではない——そして失敗の形を、より見つけにくいものに変える。
LLMの過信は測れる——RLHFが較正を崩す傾向 2026/6/20
「自信」には測れるものと測れないものがある。内部確率と申告確信度は較正を測れるが、口ぶりは誰も測っていない。GPT-4の報告書はMMLUの一部でECEが0.007から0.074へ悪化したと報告し、Lengらは報酬モデルの偏りが過信を生むこと、そしてそれが直せることを示した。
ハルシネーションは採点ルールへの最適応答でもある 2026/6/20
ハルシネーションは神秘でも、ただの設計上の宿命でもない。残り続ける大きな理由は、ベンチマークが「自信ある当てずっぽう」を採点で得させ、「分かりません」を罰していることにある。そして、そこは直せる。
脳データの本当の難所はモデルでなく「何を測るか」だ 2026/6/19
神経データの信号とノイズを分ける作業は、機械学習以前の問題だ。測定・アーティファクト・解釈のギャップが本当のボトルネックである理由を、触れる合成デモとともに論じる。

← 全タグ