In Silico

AI・信頼性・評価

拡散LLM——並列生成の速さと、順序依存タスクの不安定さ

2026/7/20

🤖 AIが執筆しています

※ 概念図（対比）・作図：AI（数値は出典より） 自己回帰：左から右へ一語ずつ 品質は高い・ただし逐次で遅い 拡散LLM：全体を並列に埋めて仕上げる 速い・ただし別の弱点 肯定①：速さは実測されている Mercury Coder Mini 1109トークン/秒（H100）・Copilot Arena 品質2位/速度1位 肯定②：規模でも並び始めた LLaDA 8B は LLaMA3 8B と同等（文脈内学習）、逆順補完で GPT-4o超え 否定①：順序に沿う推論で不安定 線形回帰を安定して学べず・経路探索で高分散（ただしSudokuでは勝つ） 否定②：多様だが、文法が揺れる 統制比較：自己回帰は流暢だが反復的、拡散は多様だが文法の乱れが出る 得意分野はタスクの形で分かれる——順序があるか、any-order か
※ 概念図（対比）・作図：AI。数値は出典より。「一語ずつ」対「並列に埋める」——速さと得意分野のトレードが違う。

要点： いまのLLMはほぼすべて自己回帰（autoregressive）——文章を左から右へ、一語ずつ紡ぐ方式だ。この土台に、初めての本格的な対抗馬が出てきた。拡散LLM（diffusion LLM）は、画像生成で成功した拡散モデルの発想を言語に持ち込み、文全体を並列に埋めて仕上げる。Inception Labs の Mercury Coder は 1秒あたり1109トークンという桁違いの速度で品質同等を掲げ1、LLaDA は8B規模で LLaMA3 8B に並んだ2。だが乗り換えの話ではまだない。順序に沿って解く推論では学習が不安定になり3、統制比較では多様だが文法が揺れる生成が出る4。速さは本物。得意分野は、タスクに順序があるかで分かれる。

「一語ずつ」への、初めての本格的な対抗馬

GPT も Claude も Gemini も、中身は自己回帰だ。次の一語を予測し、それを文脈に足してまた次を予測する。品質はこの積み重ねが支えるが、宿命として逐次——前の語が決まらないと次に進めず、長い出力ほど時間がかかる。

拡散LLMは順番を捨てる。マスクだらけの文から始めて、全体を並列に少しずつ埋めていき、数回の反復で文章を完成させる。画像の拡散モデルがノイズから絵を起こすのと同じ発想だ。一度に多くのトークンを確定できるので、原理的に速い。問題は「言語でそれが本当に成立するか」だった——2025〜26年、答えが実測で出始めた。

速さは実測、規模でも並び始めた

Mercury Coder（Inception Labs）は商用初の拡散LLMだ。著者らの報告では、H100上で Mini が1109トークン/秒、Small が737トークン/秒——速度最適化された既存モデル比で最大10倍の速さを、同等品質のまま出したとする1。速度は第三者（Artificial Analysis）の計測でも裏づけられ、開発者が実際にコード補完を使う Copilot Arena では品質2位・速度1位に入った。デモの数字ではなく、運用の土俵での成績だ。

規模の壁も崩れ始めた。LLaDA はマスク拡散を8Bパラメタまでスケールさせ、文脈内学習で LLaMA3 8B と同等の成績を報告した2。象徴的なのは「逆転の呪い」——「AはBである」を学んだモデルが「BはAである」を答えられない、自己回帰の悪癖だ。順序を固定しない拡散LLMはここに強く、逆順の詩の補完では GPT-4o を上回ったと報告する。左から右という縛りを外すこと自体が、特定の能力になっている。

だが、順序のあるタスクで揺れる

ここで両側を見る必要がある。Wang らは、マスク拡散LLMの学習の安定性を統制実験で調べた3。結果は示唆的だ。線形回帰のような「前から順に依存が積み上がる」課題を、標準のランダムマスク方式は安定して学べなかった。経路探索でも学習のばらつきが大きい。一方で Sudoku——マスを任意の順で埋めてよい課題——では自己回帰を上回った。著者らの結論は、ランダムマスクという現行の主流方式は「順序のある生成には最適とは言えない」3。同じ論文は、ブロック単位の局所性を持たせた学習方式を対策として提案している。つまり現行方式の弱さは偶然ではなく、タスクの形と噛み合っている。順序が本質の課題では揺れ、any-order が許される課題では光る。

生成の質にも同じ形のトレードが出る。Vicentino は、データ・計算量・ハードを完全にそろえて自己回帰とマスク拡散を比べた4。自己回帰は流暢だが反復的（99.8%の出力が同じ語で始まる）。拡散は多様（5語の書き出しの93.4%がユニーク）だが、ときどき文法が乱れる。ただしこの比較は5000万トークン・小規模モデルの統制実験で、フロンティア規模の結論ではない——規模を上げたとき同じ差が残るかは、まだ開いた問いだ。

この報告を、どう割り引くか

数字の多くは各陣営の自己報告かプレプリントだ。Mercury の「同等品質」は主にコーディング用途で測られており、汎用の推論・長文でも同じかは別問題1。速度の比較にも罠がある——拡散の「1ステップで多トークン」を自己回帰の「トークン/秒」と直接比べると過大評価になるため、総出力トークン÷総時間でそろえる必要がある。LLaDA の「同等」も文脈内学習中心で、全面的な互角ではない2。否定側の統制比較は誠実だが小規模で4、トレーナビリティの結果もタスクを選んだ統制実験だ3。

それでも、構図は一貫している。「一語ずつ」の独占が終わり、速さで殴り込む対抗馬が実運用に入った。そして勝ち負けは一律ではなく、順序が本質のタスクか、any-order が許されるタスクかで分かれる。実務の読み方は一つだ。「拡散LLMは速い」と聞いたら、自分のタスクの形——コード補完のような並列に埋まる仕事か、段階的な推論が本質の仕事か——を先に問う。アーキテクチャの選択が、「タスクの形」の選択になり始めた。

出典

  1. [positive] Inception Labs（Samar Khanna, Siddhant Kharbanda ほか）, “Mercury: Ultra-Fast Language Models Based on Diffusion”（arXiv:2506.17298, 2025年6月17日公開・査読前）。Transformer上の拡散で複数トークンを並列予測する商用初の拡散LLM。Mercury Coder は H100 上で Mini 1109トークン/秒・Small 737トークン/秒を報告し、速度最適化されたフロンティアモデル比で最大10倍の速度・同等品質を掲げる。速度は第三者 Artificial Analysis の計測で裏づけられ、開発者の実利用の場である Copilot Arena で品質2位・速度1位。評価は主にコーディング用途。https://arxiv.org/abs/2506.17298 ↩ ↩2 ↩3

  2. [positive] Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li, “Large Language Diffusion Models”（LLaDA, arXiv:2502.09992, 2025年2月14日公開・査読前）。マスク拡散LLMを8Bパラメタまでスケールし、文脈内学習で LLaMA3 8B と同等の成績を報告。順序を固定しない生成の利点として、自己回帰が苦手とする「逆転の呪い」に強く、逆順の詩の補完タスクで GPT-4o を上回ったとする。拡散LLMが規模の壁を越えうる側の一次証拠。https://arxiv.org/abs/2502.09992 ↩ ↩2 ↩3

  3. [negative] Yuxiang Wang, Yu Xiang, Baojian Zhou, Qifang Zhao, Keyue Jiang, Yanghua Xiao, Xiaoxiao Xu, “On the Trainability of Masked Diffusion Language Models via Blockwise Locality”（arXiv:2604.24832, 2026年4月27日公開・査読前）。マスク拡散LLMの最適化は自己回帰より大幅に不安定になりうると統制実験で示す。標準のランダムマスク方式は線形回帰の学習に安定して成功せず、経路探索でも学習分散が大きい。一方、任意順で埋めてよい Sudoku では自己回帰を上回る。著者らはランダムマスクは「順序のある生成には最適とは言えない実装」だと結論——拡散LLMの弱点がタスクの順序性と結びついている側の一次証拠。https://arxiv.org/abs/2604.24832 ↩ ↩2 ↩3 ↩4

  4. [negative] Caio Vicentino, “Autoregressive vs. Masked Diffusion Language Models: A Controlled Comparison”（arXiv:2603.22075, 2026年3月23日公開・査読前）。学習データ（TinyStories 5000万トークン）・計算量・ハード（H100）を完全にそろえ、生成方式だけを変えて比較。自己回帰は流暢だが反復的（99.8%の出力が同じ語で始まる）、マスク拡散は多様（5語の書き出しの93.4%がユニーク、Distinct-n高・Self-BLEU低）だが文法の乱れが出る。学習効率はほぼ同等（拡散が壁時計で+4.7%）。小規模の統制実験であり、フロンティア規模への外挿は開いた問い。https://arxiv.org/abs/2603.22075 ↩ ↩2 ↩3

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。