AI・信頼性・評価

拡散言語モデルとは？自己回帰との違い、速さ、得意と苦手

2026/7/20 （更新: 2026/10/19）

🤖 AIを使用して執筆

「一語ずつ」への、本格的な対抗馬

GPT も Claude も Gemini も、中身は自己回帰（autoregressive）だ。一語ずつの積み重ねが品質を支えるが、宿命として逐次である。

拡散LLM（diffusion LLM）は順番を捨てる。マスクだらけの文から始めて、全体を並列に少しずつ埋めていき、反復を重ねて文章を完成させる。反復の回数は設定で決まり、減らせば速く、増やせば品質が上がる。問題は「言語でこの作り方が本当に成立するか」だった。

速さは実測、規模でも並び始めた

Mercury Coder（Inception Labs）は商用規模で提供される拡散LLMだ（報告は2025年6月公開のプレプリント）。論文の要旨は、Artificial Analysis（AA）の独立評価に基づくとして、H100上で Mini が1109トークン/秒、Small が737トークン/秒に達し、速度最適化された既存モデル比で最大10倍の速さを同等品質のまま出したと書く²。ただし品質を測った土俵は主にコーディング用途で、論文は汎用の推論や長文で同等かを測っていない。速度の比べ方も一様ではない。比較対象の既存モデルの速度は、AA が複数の配信事業者にまたがって測った商用APIの中央値である。Mercury のほうは自社のサービングエンジンで配信した API の値である（§3.2.1）。その値も、Figure 1 の AA の図では、比較対象と同じコーディング用の負荷（入力約1,000トークン）の軸の上に載っている。つまり比較の片側は事業者の中央値、もう片側は開発元自身の単一の配信である。

開発者が実際にコード補完を使う Copilot Arena では、Mini が品質2位タイ・速度1位（平均レイテンシ 0.25 秒、GPT-4o Mini の 0.84 秒の約 3.4 倍速）に入った。デモの数字ではなく、運用の土俵での成績だ。

商用側は Inception Labs だけではなく、Google DeepMind も実験公開の Gemini Diffusion を出している。同社の頁は自己申告の数字として、オーバーヘッドを除く生成速度 1479 トークン/秒と Gemini 2.0 Flash-Lite との比較表を刷る。その表では、コードの 6 指標のうち 5 つでほぼ同等、SWE-Bench Verified（単発の編集だけの評価）では後れ、数学の AIME 2025 では上回り、科学問答・推論・多言語では後れを取る⁴。

規模の壁も崩れ始めた。LLaDA（NeurIPS 2025 に採択された査読済み論文）はマスク拡散を8Bパラメタまでスケールさせ、文脈内学習で LLaMA3 8B と同等の成績を報告した³。この同等を報告した表でも、課題ごとの差は大きい。数学と中国語の4課題（GSM8K・Math・CMMLU・C-Eval）では LLaMA3 8B を約15〜22ポイント上回り、BBH と HellaSwag では約9〜12ポイント後れる。学習に使ったトークンは、LLaDA が 2.3T、LLaMA3 8B が 15T である。ただしこの同等のうち生成で答えさせた課題は、生成長と反復回数をともに 1024 に置く設定、つまり 1 回の反復で 1 トークンずつ確定する設定で測られており、論文自身も速いモデルの提案を目的とはしないと明記している。同じ論文が付録で反復回数を減らして測った比較では、GSM8K と Math では同等の成績で 1.5 倍・1.8 倍のスループット、MBPP では LLaMA3 8B に後れを取る。

象徴的なのは「逆転の呪い」である。逆転の呪いは、「AはBである」を学んだモデルが「BはAである」を答えられない、自己回帰の悪癖を指す。順序を固定しない拡散LLMはここに強く、逆順の詩の補完では GPT-4o を上回った（45.6 対 34.3。同じ表で Qwen2.5-7B Instruct の 38.0 も上回る）と報告する。課題の実体は中国古典詩の対句496組で、ある句を与えて前の句を答えさせる。プロンプトも中国語である。ただし順方向では逆に大きく劣っており（51.8 対 82.7）、論文の主眼は優越そのものではなく、方向を変えたときの落差が小さいことにある。なお前段で見たとおり LLaDA は数学と中国語のタスクで優位で、この一件は「逆転の呪いへの強さ」と「中国語での優位」が交絡しうる設定で測られている。（原典の表は指標名も単位も書いておらず、評価は Allen-Zhu と Li の先行研究のプロトコルに従うとだけ記している。ここでは % を付けずに原典の数字のまま引いた。）左から右という縛りを外すこと自体が、特定の能力になっている。

崩れる側は、課題の依存構造で入れ替わる

崩れる場所は、直感とは違うところにあった。Wang らは、マスク拡散LLMの学習の安定性を統制実験で調べた（2026年4月公開・査読前）¹。標準のランダムマスク方式が安定して学べなかったのは、文脈内の線形回帰のように、入力と出力を精密に対応づけることが要るタスクだった。文脈内の線形回帰は、20組の実演から潜在の線形写像を推定し、続くクエリに当てる課題である。崩れが出たのは、入力の次元を 10・15・20 と変えたうちの 20 の設定で、次元 10 ではどの方式も同じくらいの成績だった。原典が「局所的な束縛」と呼ぶこの課題は文脈内学習の合成版で、上で LLaDA が自然言語ベンチマークで LLaMA3 8B に並んだ文脈内学習と同じ語だ。ただし測ったのは、原典の構成表で約 400 万〜3,000 万パラメータの小さなモデルの学習安定性であって、能力の一般命題ではない。

逆に Sudoku（大域的な制約充足）と星形グラフの経路探索（依存が Goal→Start と逆流し、前向きの生成順と矛盾する計画課題）では、失敗するのは自己回帰の側である。経路探索で自己回帰は学習損失こそ下がるがテスト精度は $1/d$ の当てずっぽうに留まり、拡散側は $\approx 100\%$ に達する。もっとも標準のマスク拡散の学習は初期値に左右され、シードを変えた 8 回の学習では、解き方を見つける回と停滞する回に分かれた。Sudoku の落差はさらに大きく、自己回帰の正答率は 0%、双方向に見渡せる拡散側はほぼ完全に解く。原典はこの差を「実験中もっとも極端に分かれた結果」と呼ぶ。著者らは全モデルのパラメタ数をそろえ、いずれもゼロから学習させてこの比較を取った。

同じ論文は対策として Jigsaw と Scatter を提案するが、その中身は「ブロック内で自己回帰生成を強制し、ブロック間では拡散的な反復精錬を残す」というものだ。つまり両者は、左から右の順序を各ブロックの内側にだけ戻す設計で、ブロックの並びを左から右に進める既存の多くのブロック設計とは役割が逆になっている。ただし、どちらか一方で三つの課題がすべて直るわけではない。Jigsaw が線形回帰の安定性と Sudoku を、Scatter が経路探索での計画の強みをそれぞれ担う。著者らが名指しする軸は、経路探索と線形回帰の比較から引いた、大域的な計画・制約充足か、局所的な束縛かという反転である。全体を見渡せる標準のマスク拡散は前者に、見る範囲を局所に絞った自己回帰は後者に向く。Jigsaw はこの二分に収まらず、線形回帰と Sudoku では崩れなかったが、経路探索では自己回帰と同じ失敗の側に入った。著者らは、生成順序を課題の依存構造に合わせて選ぶ帰納バイアスと位置づけている¹。

優劣は、課題の側で割れる。Wang らの三課題では、課題が大域的な計画なのか、局所的な束縛なのかで、失敗する側が入れ替わった。同じ論文は先行研究の総括として、自然言語の推論ベンチマークでは拡散LLMがしばしば自己回帰に後れを取ると書き、それを仮説の動機に置いている¹。

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。