AI・信頼性・評価

AI生成データはAIを壊すのか——モデル崩壊は『置き換え』の話で、『混ぜる』なら薬になる

2026/7/16 （更新: 2026/7/16）

🤖 AIが下書き・人間が編集

要点： 「AIが生成した文章でAIを訓練すると、AIは壊れる」——モデル崩壊（model collapse）と呼ばれるこの現象は、実在する。Nature に載った研究は、モデルの出力で次の世代を再帰的に訓練すると、分布の尾（まれな事象）が先に消え、やがて出力が低分散の平均へ縮む不可逆な劣化が起きると示した¹。より新しい研究は、事実の正確さが崩れても口調は流暢なまま——自信満々に間違える「知識崩壊」を報告する²。だが、ここで話を止めると誤読する。崩壊が起きるのは、実データを合成データで「置き換えた」ときだ。別のチームは、合成データを実データに「貯め込め」ば崩壊しない（テスト誤差が有界に収まる）ことを示し³、さらに別の系統的研究は、約1/3を言い換え合成、2/3を実webにすると崩壊せず、同じ検証損失に5〜10倍速く到達すると報告する⁴。合成データは、使い方しだいで毒にも薬にもなる。

データの壁と、合成データという誘惑

大規模モデルは、web上の人間が書いた文章を食べて育ってきた。だがその実データは枯れつつある——質の高いテキストの供給は有限で、増え続けるモデルの胃袋に追いつかない。そこで誘惑が生まれる。モデル自身に大量のデータを生成させ、それで次のモデルを訓練する。理屈のうえでは、データは無限に湧く。

問題は、その「自家中毒」が何を引き起こすかだ。2024年前後、この問いに正面から答える研究が両方向から出た。片方は「壊れる」と言い、もう片方は「壊し方しだいだ」と言う。両者は矛盾していない——条件が違う。

崩壊する側：尾が消え、自信満々に間違える

崩壊を最も鋭く示したのが、Shumailov らの Nature 論文だ¹。彼らは VAE・混合ガウス・LLM のいずれでも、モデル生成データで再帰的に訓練すると不可逆な欠陥が生じ、元データ分布の尾が消えることを示した。まれな事象・少数派の表現がまず失われ、世代を重ねるほど出力は平均的で退屈な中心へ縮む。

2025年の研究は、この崩壊が知識の層でも起きると突く²。Keisha らの「知識崩壊」は三段階で進み、表面の流暢さは保たれるのに、事実の正確さが劣化する。モデルは自然で説得力のある口ぶりのまま、中身を間違える——「自信満々に誤る（confidently wrong）」。これは「わからない」と言えないAIの失敗と地続きで、合成データの反復がそれを増幅しうる、という警告だ。

崩壊しない側：置き換えず、貯め込む・混ぜる

だが崩壊は宿命ではない。Gerstgrasser らは、崩壊の条件を切り分けた³。各世代の合成データで実データを「置き換える」と崩壊に向かうが、合成データを元の実データに「貯め込む（accumulate）」と崩壊は起きない——モデルの大きさ・アーキテクチャ・ハイパーパラメータを変えても、この結果は保たれた。線形モデルの理論解析でも、データを累積すればテスト誤差は反復回数に依らない有限の上限に収まる。つまり崩壊は、合成データそのものの罪ではなく、「実データを捨てる」運用の罪だった。

より実務に近い証拠が、Kang らの系統的研究だ⁴。事前学習で、言い換え（rephrased）合成データを約1/3、実webを2/3で混ぜると、より大きなデータ予算で同じ検証損失に到達するのが5〜10倍速くなり、見通せる範囲で劣化は見られなかった。最適な合成比率はモデルとデータ予算に依存し、経験的に約30%へ収束したという。ただし彼らも、純粋な生成データだけにするとモデル崩壊と整合する劣化が出ること、教科書調の合成は下流で損をしうることを併記する——混ぜ方を間違えれば、やはり毒になる。

この食い違いをどう読むか

留保を両側に置く。AI不利側：Shumailov らの設定は、実データを完全に置き換えて再帰するという、実務ではあまり採らない最悪ケースに近い。現実の学習パイプラインは、人間データを保持し、選別・検証を挟む¹³。AI有利側：Gerstgrasser の「貯め込めば安全」は、累積する分だけデータ量が膨らみ続ける前提で、無限には貯め込めない。Kang らの「5〜10倍速く」も言い換え合成・特定比率での話で、生成のさせ方を誤れば崩壊側に転ぶ⁴。どちらも、額面より狭く読むべきだ。

それでも、独立に効く教訓が残る。崩壊は「合成データを使うか否か」ではなく「どう使うか」で決まる——これは崩壊を示した側とも、回避を示した側とも矛盾しない。置き換えれば尾が消え、貯め込み・混ぜ・検証すれば防げる。長期的には、まれな事象や少数派の表現（分布の尾）を守れているかが、静かな崩壊の分かれ目になる。

そして、ここまでの結論はいずれも現段階の合成データの作り方での話だと押さえておきたい。崩壊を示した研究も回避を示した研究も、「合成データ一般」ではなく特定の生成・混合のやり方を測っている——実際、生成の仕方（言い換えか教科書調か）や比率しだいで結果は大きく変わり⁴、ドメイン特化の合成訓練は崩壊への耐性を高めうる²。つまりこれらは、合成データが原理的に不可能だという証明ではなく、いまの作り方での限界を写したものだ。この壁は越えれば生む価値が大きく、理論上それを禁じるものは見当たらない。生成手法が進めば「置き換え」に近い運用でも崩壊を抑えられる余地は残り、境界そのものは動きうる。現時点で安全側に振れる答えが「貯め込み・混ぜ・検証する」だ、というのが正確な言い方になる。

実務で何を見るか

合成データで学習を回す側なら、勘所は絞れる。

• 実データを「置き換え」ない。 合成データは実データに足すもので、捨てて入れ替えるものではない³。人間データのアンカーを保持する。
• 混合比を管理する。 言い換え合成は効くが、比率はモデルとデータ予算に依存し、約30%が一つの目安⁴。純合成に振り切らない。
• 流暢さでなく、事実で測る。 崩壊は口調に出ない。事実の正確さ・分布の尾（まれな事象・少数派）を狙って評価する²。
• 検証を挟む。 生成データを鵜呑みにせず、フィルタや検証で品質を担保してから混ぜる⁴。

「合成データでAIが壊れる」は、半分正しく、半分ミスリードだ。評価的な主張として要点はこうだ：モデル崩壊は実在するが、その引き金は合成データの使用そのものではなく、実データを置き換える運用にある。だから合成データを恐れて避けるのでも、無検証で流し込むのでもなく、貯め込み・混ぜ・検証して使う——それが、データの壁を越えるための現実的な一歩になる。

この記事はAIが下書きし、人間が編集・公開しています。