タグ: LLM

8bitは実質ロスレス、4bitはモデルと文脈長で崩れる 2026/7/31
推論を配信する精度をどう選ぶか。50万件超の評価はFP8を実質ロスレスとし、長文脈評価でも8bitの低下は平均約0.8%にとどまる。4bitも平均では1.8〜6.9%だが、方式によっては最大59%落ちる。日本語で自動評価1.7%に対し人手16.0%という差は4bitでの測定である。
スキーマ制約は分類で効き、推論では指示を削らない 2026/7/29
LLMの構造化出力をどの工程に掛けるか。査読付きのEMNLP 2024論文は形式制約が推論を下げると報告したが、同論文が追試した文法保証つきの方式は例外だった。実務で効くのは「正しく、かつ構文が妥当」の同時成立を測る指標だ。
RLVRの効果——pass@kで反転するベースモデルとの境界 2026/7/29
推論モデルの強化学習(RLVR)は新しい推論能力を生むのか、既存の能力を並べ替えているだけなのか。Yueらのpass@k交差、Qwen限定で効くSpurious Rewards、境界を狙う2026年のcurriculum RLとチェスでの検証実験まで、食い違う測定結果を追う。
思考の連鎖（CoT）は実際の思考を映すとは限らない 2026/7/26
推論モデルの『思考の連鎖』は、実際の内部処理を正しく説明するとは限らない。ヒントの言語化率はClaudeで25%・R1で39%。ただし2026年の追試は、トークン予算を増やせば9割まで上がるとし、これは忠実さの点数ではなく下限だと示した。
破滅的忘却、『事実』では11%に抑制——『スキル』は未解決 2026/7/20
デプロイ後のAIは「凍って」いる。新しいことを覚えると古い能力を忘れる（破滅的忘却）。ある手法はメモリ層モデル1.3Bという条件つきで事実注入の忘却を11%へ抑えた。だが実タスクのスキル獲得と時間で変わる知識では、どの手法も一貫しては効かない。
拡散LLM——並列生成の速さと、順序依存タスクの不安定さ 2026/7/20
文章を左から右へ一語ずつ紡ぐ自己回帰に、本格的な対抗馬が出た。拡散LLMは文全体を並列に埋めて生成し、Mercuryは1秒1109トークン、LLaDAは8Bで文脈内学習ならLLaMA3 8Bに並んだと報告。だが順序に沿う推論では現行のランダムマスク学習が不安定と示された。
コンテキストエンジニアリング——机に載せる最小限を選ぶ 2026/6/21
AIには「一度に見られる量」に限りがある。長く動くエージェントでは、その限られた枠に毎回“何を載せるか”が、出来を大きく左右する。「プロンプトを書く」から「コンテキストを設計する」へ——いま最も注目される足場の技術。
ハーネス——同じモデルでも“外側”で成績は動く 2026/6/21
AIエージェントの話になると、つい「GPTとClaude、どっちが賢い？」とモデルを比べたくなる。だが同じモデルでも、“外側の足場”——ハーネス——の作り方しだいでベンチマークの成績は動く。エンジンだけでなく、車体の話でもある。
AIエージェントとは何か——LLMをループと道具で包んだもの 2026/6/21
ChatGPTは質問に答える。でも「エージェント」はもう一歩進んで、自分で道具を使い、結果を見て、また考える。その違いを作っているのは、モデルの賢さではなく「ループと道具」という構成だ。AIエージェントの一番の基礎の話。
ハルシネーションは仕様の帰結——根絶でなく封じ込めで 2026/6/20
LLMのハルシネーションは直すべき欠陥ではなく、流暢な続きを生成する仕組みそのものの裏面だ。なぜゼロにはできないのか、ではどうするのかを技術的に整理する。
RAG併用でもハルシネーションは残る——法務AIの実測 2026/6/20
根拠文書を検索して与えればハルシネーションは消える、とよく言われる。スタンフォードが実際に測ると、そう謳った法務AIですら17〜33%はハルシネーションしていた。RAGは強力な緩和策だが、治療ではない——そして失敗の形を、より見つけにくいものに変える。
LLMの過信は測れる——RLHFが較正を崩す傾向 2026/6/20
LLMの口調の自信は、正しさの信号ではない。アライメント(RLHF)には較正を犠牲にする圧力がかかる——法則ではなく傾向だ。GPT-4の報告書はMMLUの一部で、素のモデルのほうが較正が良かったと報告した。そして、このズレは測れる。
ハルシネーションは採点ルールへの最適応答でもある 2026/6/20
ハルシネーションは神秘でも、ただの設計上の宿命でもない。残り続ける大きな理由は、ベンチマークが「自信ある当てずっぽう」を採点で得させ、「分かりません」を罰していることにある。そして、そこは直せる。

← 全タグ