タグ: LLM

推論モデルへの載せ替え——既定では作法を引き継がない 2026/8/31
考えてから答える推論モデルの多くは、指示に従うよう調整済みのモデルを訓練し直して作られる。2026年の信頼性監査は、この作り変えで安全な拒否や偏りの回避が既定では引き継がれないと報告した。何が崩れ、載せ替えの前に何を測り直すべきかを整理する。
理由書きは、答えを作っていない——医療CoTの摂動監査 2026/8/31
医療QAの設問と思考連鎖を30種の摂動で壊す監査は、設問の編集を連鎖が記録せず答えも動かない割合を、オープン11モデル横断で72.9%と報告した。連鎖自体を壊しても正答率の変化は中央値でほぼ0ポイント。再注釈197問の98.5%で正解は妥当なまま。査読前。
自己学習の伸びは、凍結モデルの床と区別できなかった 2026/8/27
訓練していないモデルを、訓練済みと同じ手続きで測り直すと「何も学習していなくても出る数字」が見える。その床に照らすと、自己学習3方式の伸びは区別できず、外の強いモデルから写した場合だけが届いた。
モデル移行前に、総和が隠す増減のどこを再テストするか 2026/8/26
2026年8月18日のプレプリントは、GPT系の3つの移行すべてで、確実に改善した項目と確実に後退した項目が同居すると測った。総合点が7.3ポイント上がった辺にも後退側は残る。先行する4月の研究も別のモデル系列で同じ形を報告する。ただし過半の項目は動かず、後者ではその大半が版によらず常に正解か常に不正解の項目である。
8bitは実質ロスレス、4bitはモデルと文脈長で崩れる 2026/7/31
推論を配信する精度をどう選ぶか。50万件超の評価はFP8を実質ロスレスとし、長文脈評価でも8bitの低下は平均約0.8%にとどまる。4bitも平均では1.8〜6.9%だが、方式によっては最大59%落ちる。日本語で自動評価1.7%に対し人手16.0%という差は4bitでの測定である。
スキーマ制約は分類で効き、推論では指示を削らない 2026/7/29
LLMの構造化出力をどの工程に掛けるか。査読付きのEMNLP 2024論文は形式制約が推論を下げると報告した。ただし「厳しいほど落ちる」という順序は、同論文が追試した文法保証つきの方式で崩れる。実務で効くのは「正しく、かつ構文が妥当」の同時成立を測る指標だ。
推論の強化学習(RLVR)——新能力か並べ替えかで測定が割れる 2026/7/29
推論モデルの強化学習(RLVR)は新しい推論能力を生むのか、既存の能力を並べ替えているだけなのか。Yueらのpass@k交差、Qwen限定で効くSpurious Rewards、境界を狙う2026年のcurriculum RLとチェスでの検証実験まで、食い違う測定結果を追う。
思考の連鎖（CoT）は実際の思考を映すとは限らない 2026/7/26
推論モデルの『思考の連鎖』は、実際の内部処理を正しく説明するとは限らない。ヒントの言語化率はClaudeで25%・R1で39%。ただし2026年の再検討は、別のモデルで16回生成させれば1回はヒントに触れる確率が9割に届く例を示し、この指標を忠実さの点数として読むことに疑義を呈した。
破滅的忘却、事実の注入なら11%まで抑制——難所は開かれた学習へ 2026/7/20
デプロイ後のAIは重みが凍り、追加学習すると古い能力を忘れる（破滅的忘却）。個別の事実を書き込む微調整では、この低下をメモリ層モデル1.3Bで11%まで抑えられた。だが手順やコツを自分で貯める開かれたスキルの獲得では、まだ抜きん出た手法が無い。時間で変わる知識では、重みを更新する側に忘却が残る。
拡散LLMは大域的な計画に強く、局所的な対応づけに弱い 2026/7/20
文章を左から右へ一語ずつ紡ぐ自己回帰に、本格的な対抗馬が出た。拡散LLMは文全体を並列に埋めて生成し、Mercuryは1秒1109トークン、LLaDAは8Bで文脈内学習ならLLaMA3 8Bに並んだと報告。得手不得手を分けるのは順序の有無ではなく、大域的な計画か局所的な束縛かだった。
コンテキストエンジニアリング——机に載せる最小限を選ぶ 2026/6/21
AIには「一度に見られる量」に限りがある。長く動くエージェントでは、その限られた枠に毎回“何を載せるか”が、出来を大きく左右する。「プロンプトを書く」から「コンテキストを設計する」へ——いま最も注目される足場の技術。
ハーネス——同じモデルでも“外側”で成績は動く 2026/6/21
AIエージェントの話になると、つい「GPTとClaude、どっちが賢い？」とモデルを比べたくなる。だが同じモデルでも、“外側の足場”——ハーネス——の作り方しだいでベンチマークの成績は動く。エンジンだけでなく、車体の話でもある。
AIエージェントとは何か——LLMをループと道具で包んだもの 2026/6/21
ChatGPTは質問に答える。でも「エージェント」はもう一歩進んで、自分で道具を使い、結果を見て、また考える。その違いを作っているのは、モデルの賢さではなく「ループと道具」という構成だ。AIエージェントの一番の基礎の話。
ハルシネーションは仕様の帰結——根絶でなく封じ込めで 2026/6/20
LLMのハルシネーションは直すべき欠陥ではなく、流暢な続きを生成する仕組みそのものの裏面だ。なぜゼロにはできないのか、ではどうするのかを技術的に整理する。
RAG併用でもハルシネーションは残る——法務AIの実測 2026/6/20
根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは強力な緩和策だが、治療ではない——そして失敗の形を、より見つけにくいものに変える。
LLMの過信は測れる——RLHFが較正を崩す傾向 2026/6/20
「自信」には測れるものと測れないものがある。内部確率と申告確信度は較正を測れるが、口ぶりは誰も測っていない。GPT-4の報告書はMMLUの一部でECEが0.007から0.074へ悪化したと報告し、Lengらは報酬モデルの偏りが過信を生むこと、そしてそれが直せることを示した。
ハルシネーションは採点ルールへの最適応答でもある 2026/6/20
ハルシネーションは神秘でも、ただの設計上の宿命でもない。残り続ける大きな理由は、ベンチマークが「自信ある当てずっぽう」を採点で得させ、「分かりません」を罰していることにある。そして、そこは直せる。

← 全タグ