タグ: LLM
- BeamのスライディングウィンドウアテンションとKVキャッシュの計算方法 2026/10/27
BeamのKVキャッシュは、52層中9層のグローバルアテンションだけがコンテキスト長に比例して増え、1Mトークンで約36GiBになる。公開configから計算し、公開時の説明の値と照らした。1Mでの品質を第三者が測った評価は見つからない。
- Agentic Context Engineering（ACE）とは：ALTK-Evolveとの違い 2026/10/27
ACEは、実行から学んだ指針を箇条で積み増し、プレイブック全体をプロンプトに入れる手法である。IBMのALTK-Evolveは渡す量をモデルごとに変える。ACEとの比較は開発元IBMによる単回の測定で、AppWorldに限る。
- 投機的デコーディングとは：同時リクエストが多いと遅くなる理由 2026/10/18
投機的デコーディングは、小さなモデルの予想を大きなモデルが一度に検証して生成を速める。同時リクエストが多いと検証が増えて遅くなりうるため、vLLM と SGLang は先読み数を負荷で変える。作り手の測定は 1 モデル・GPU 1 台・2 データで、系列が長いとバッチが大きくても速くなりうる。
- プレフィックスキャッシュとは：vLLMとSGLangで省ける計算と限界 2026/10/17
プレフィックスキャッシュは、共通するプロンプトの先頭の KVキャッシュを使い回し、プレフィルの計算を省く。vLLM と SGLang では既定で有効で、一致を既定で vLLM は 16 トークン、SGLang は 1 トークン単位で数える。タイムスタンプを先頭に置くと効かない理由と、デコードが縮まない限界を整理する。
- AIPerfでLLM推論を測る：同時数と到着率で遅延が変わる仕組み 2026/10/14
LLM推論のベンチマークは、同時数を固定するか到着率で送るかで遅延の意味が変わる。同時数を固定すると、利用者がスループットより速く来たときの待ちが測定値から抜ける。NVIDIA AIPerfの文書とリトルの法則をもとに、飽和点と利用者の待ちを測る手順を示す。
- vLLMはモデル定義を機種別と機種非依存の二本に分け始めた 2026/10/7
vLLMは、最新GPU向けに手で最適化する機種別のモデル定義と、移植性を保つ機種非依存の定義の二本立てへ移り始めた。二つのRFCとPyTorchのブログから、古いGPUや独自のアクセラレータの利用者が負う代償を整理する。機種非依存の定義はまだ作業の途中だ。
- vLLMの文章透かしの仕組み：SynthIDとの違いと、検出に要る鍵 2026/10/3
vLLMの文章透かしは、v0.30.0でサンプリングの段に入り、起動時の設定で使える。作り手の測定（2Bモデル）では速度の変化は数%以内。検出には生成時と同じ鍵と設定が要り、誤検出率は自分で測る。SynthID Textとも比べる。
- 推論モデルは安全性が落ちる？拒否が両方向にずれる実態と防ぎ方 2026/8/31
推論モデルは、作り変えの訓練で安全面の振る舞いが既定では保たれず、断りすぎと断り漏れが同時に増えうる。ある変換経路では無害な設問の正答率が半分以下に落ちた。1.5B〜14B規模を調べた査読前の監査の報告で、訓練中に手当てできるという報告もある。
- 医療QAでLLMの思考連鎖を壊すと？30種の摂動で見た忠実性 2026/8/31
医療QAでLLMの思考連鎖（CoT）を壊しても正答率はほぼ動かなかったと、監査論文1本が報告した。変化の中央値はほぼ0ポイントで、設問の患者属性・否定・重症度を書き換えても、CoTがそれを記録せず答えも変えない割合はオープン11モデル全体で72.9%。
- LLMの自己学習と蒸留の違い：ほぼ解けない問題を伸ばすのはどちらか 2026/8/27
LLMの自己学習は自分の解答で、蒸留は強いモデルの答えで訓練する。ほぼ解けない問題を伸ばしたと言えたのは蒸留だけで、自己学習3方式は言えなかった。訓練前のモデルを同じ手続きで測った、1モデル・小規模設定の査読前の監査1本の結果だ。
- LLMのモデル移行で何を測り直す？総合点が上がっても後退する項目 2026/8/26
LLMのモデル移行では、総合点が上がっても後退する項目が残りうる。2026年8月のプレプリントはGPT系の3つの移行すべてで改善と後退の項目が同居すると報告し、7.3ポイント伸びた組でも6.0%が後退した。測り直しで安く済む部分と省けない部分も扱う。
- LLMの量子化で精度はどこまで落ちる？8bitと4bitの違い 2026/7/31
LLMの量子化による精度低下は、8bitなら平均でほぼ無損失、4bitは方式とモデルの組み合わせしだいだ。長いコンテキストの評価では4bitの平均低下は1.8〜6.9ポイントだが、最大59ポイント落ちた例がある。日本語の4bitでは人手評価で16.0%落ちた（1モデル）。
- LLMの構造化出力で精度は落ちる？分類と推論での使い分け 2026/7/29
LLMの構造化出力で推論の精度が落ちるという警告は、狭まりつつある。出所のEMNLP 2024論文がgpt-4o-mini一つで追試した文法保証つきの方式は、JSON-modeを3タスクとも上回った。ただし無制約の自然言語には、3タスク中2つでなお僅差で及ばなかった。
- RLVRは新しい推論能力を生むか：賛否の論文を測定結果で読み比べる 2026/7/29
推論モデルの強化学習(RLVR)は新しい推論能力を生むのか、既存の能力を並べ替えているだけなのか。Yueらのpass@k交差、Qwen限定で効くSpurious Rewards、境界を狙う2026年のcurriculum RLとチェスでの検証実験まで、賛否の論文の測定結果を突き合わせる。
- 思考の連鎖（CoT）は本当の理由を書くか？ヒント言及率の限界 2026/7/26
思考の連鎖（CoT）は、答えを左右した本当の理由を書き落とすことがある。ヒントへの言及率はClaude 3.7 Sonnetで25%、R1で39%（Anthropicの査読前レポート）。ただし1回答えさせて数えた値で、別のモデルでは何度も答えさせると上がる例もある。
- 破滅的忘却とは？LLMの継続学習の対策と、残る限界 2026/7/20
破滅的忘却とは、追加学習で新しいことを覚えたモデルが元の能力を崩す現象である。事実の注入では、疎メモリ微調整がF1低下を全微調整の89%から11%に抑えた（1.3Bのメモリ層モデル、査読前）。スキルを外へ貯める学習は忘れないが抜きん出た手法が無く、時間で変わる知識では多くの手法が過去の設問を落とす。
- 拡散言語モデルとは？自己回帰との違い、速さ、得意と苦手 2026/7/20
拡散言語モデルは、伏せた語を文全体で並列に埋めていく方式で、一度に何語も決めれば一語ずつ書く自己回帰より速く出せる。Mercury Coder Miniは毎秒1109トークン（開発元の報告）。得手不得手は課題の依存構造で分かれると、小型モデルの査読前実験は報告する。
- コンテキストエンジニアリングとは？プロンプトとの違いと圧縮の判断 2026/6/21
コンテキストエンジニアリングは、エージェントのコンテキストに毎ステップ何を載せるかを設計する技術。プロンプトとの違いを整理する。査読前の実験（GPT-5・経費処理50件）では、全履歴の完了率71.0%に対し、刈り込みと要約で91.6%だった。
- AIエージェントのハーネスとは？同じモデルで成績が変わる仕組み 2026/6/21
AIエージェントのハーネスとは、LLMを包むツール・記憶・やり直し方などの外側の作りである。SWE-agentは同じモデルのままインターフェースを替えて解決率を11.0%から18.0%へ上げた。HumanEvalで単純な作りがLATSを精度で上回り、費用を50分の1未満にした研究もある。
- AIエージェントとは？LLMとの違い・仕組み・落とし穴 2026/6/21
AIエージェントとは、LLMをループの中に置き、検索やコード実行などのツールを持たせたもの。結果を見て次の一手を考え直す構成がLLM単体との違いを生む。ReActの失敗分析とMETRの測定から、人間なら長くかかるタスクほど成功率が下がる限界も見る。
- ハルシネーションの原因と対策：なぜ起き、どこまで減らせるか 2026/6/20
LLMのハルシネーションは、事前学習で避けがたく残る誤りと、当てずっぽうを得にする採点が続けさせる誤りから起きる。OpenAIのKalaiらの論文を軸に、採点を変えて減らせる範囲と、残る誤りをシステムの側で封じ込める設計を整理する。
- RAGでハルシネーションは防げる？減っても消えない理由 2026/6/20
RAGはハルシネーションを減らすが、消しはしない。スタンフォードの論文では、RAGで回避したと訴求した法務AI3製品でも回答の17〜33%がハルシネーションを含んだ（2024年前半の製品版）。実在の判例を引いて中身を誤る型は見つけにくい、と論文は書く。
- LLMの自信は当てになるか：キャリブレーションの評価方法とRLHFの影響 2026/6/20
LLMのキャリブレーションとは、モデルが付けた自信と実際に当たる割合が一致しているかを見ること。ECEの計算を例で示す。GPT-4の報告書（自社測定）はMMLUの一部でECEが0.007から0.074へ悪化と報告した。測れるのは内部確率と申告確信度で、RLHF後の口ぶりは測定の外だ。
