AI・信頼性・評価

破滅的忘却、『事実』では11%に抑制——『スキル』は未解決

2026/7/20

🤖 AIが執筆しています

要点： いま使われているAIは、出荷された時点で学びを止めている。新しい知識を後から覚えさせようと追加学習すると、元々できていたことを崩す——破滅的忘却（catastrophic forgetting）だ。2025〜26年、この壁に手が届き始めた。疎メモリ微調整は、新しい事実を注入したときのNaturalQuestions F1の低下を、全パラメタ微調整の89%からわずか11%に抑えた¹。パラメタの重要度を見て更新を絞る手法も忘却を減らす²。だが喜ぶのは早い。実世界の継続学習——推論や道具の使い方、課題の解き方といった開かれたスキル（＝課題を解く手順やコツを、やりながら自分で編み出して貯めるもの。丸暗記できる「事実」の対義で、標準化された製品機能の「Agent Skills」とも別物）の獲得³や、時間とともに変わる知識への追随⁴——では、どの手法も他手法を安定して上回れない。同じ「後から覚えさせる」でも、事実の注入とスキルの獲得は難易度がまるで違う——これが本稿の主題だ。

「凍ったモデル」問題

いまのLLMは、事前学習と後訓練を終えた瞬間に重みが固定される。以後、新しい出来事や個別の知識は、基本的にプロンプトに入れるか外部検索（RAG）で渡すしかない。重みそのものを追加学習で更新しようとすると、途端に問題が出る。新しいタスクを覚える過程で、元の一般能力や過去タスクの性能が崩れるのだ。これは「使うほど賢くなる」アシスタントや、経験からスキルを貯めるエージェントにとって、根の深い制約になる。

理屈の芯は安定性と可塑性のジレンマにある。新しいことを学ぶには重みを動かす可塑性が要るが、古い知識を保つには重みを動かさない安定性が要る。両者は正面から衝突する。だから継続学習の研究は、この綱引きをどう捌くか——更新を正則化で縛る、過去データを再生（replay）する、タスクごとにパラメタを分ける——に費やされてきた。

事実の注入なら、忘却は抑えられる

肯定側の証拠は、具体的で強い。Metaの研究チームは疎メモリ微調整（sparse memory finetuning）を提案した¹。鍵は、更新を「メモリ層」のごく一部のスロットだけに絞ることだ。新しい知識に強く反応するスロットを、事前学習データでの使われ方と比べて選び、そこだけを動かす。すると新旧の知識の干渉が減る。結果、新しい事実を同じだけ覚えさせたとき、実際の検索質問から作られた事実QAベンチ NaturalQuestions のF1低下は、全微調整で89%、LoRAで71%、疎メモリでは11%にとどまった。忘却を一桁台に抑えつつ、新知識は同等に入る。

別の筋もある。属性ガイド継続学習は、モデルの内部計算をLRP（層ごとの関連度伝播）で辿り、過去タスクに効いているパラメタを特定する²。そこは小さくしか動かさず、関係の薄いパラメタは自由に学ばせる。データ再生やパラメタ凍結に頼らず、忘却を減らしつつ新タスクへの適応を保てると報告する。少なくとも「何を守るべきか」を内部機構から決める発想は、機能している。

だが、実世界の継続学習は崩れる

ここで話を止めれば「忘却問題は解けつつある」で終わる。しかし、評価を現実の設定に移すと像が変わる。ZhongらのSkillLearnBenchは、LLMエージェントが実タスクからスキルを自動生成し貯めていく能力を測る、初のベンチマークだ³。ここでいうスキルとは、エージェントが課題をこなすために自分で書き起こすあつらえの手順書・作業フロー・道具のこと——「この種の作業はまずAで下調べし、次にBを呼ぶ」といった再利用可能な段取りを、経験から生成して貯めていく。事実の一問一答（「Xはいつ設立されたか」に一語で答える類い）とは、覚える対象の粒度がまるで違う。20の検証済みタスク・15のサブ領域で、複数の継続学習手法をベンチのタスク性能で比べた結論は厳しい。どの手法もベースラインは上回るが、全タスク・全LLMを通して他手法を一貫して上回る（＝最上位に立つ）手法は一つも無く、モデルを強くしても安定して効かなかった。手順が明確で再利用しやすいタスクでは伸びるが、開かれたタスクでは苦戦する。しかも、外部の正解なしに自己フィードバックだけで回すと、性能は再帰的にドリフトした——自己改善のループは、放っておくと崩れる。

知識が時間で変わる設定も難所だ。Liらは、時刻印つきの証拠で「知識が進化する」様子を再現し、継続微調整・知識編集・RAGを横断で評価した⁴。標準ベンチが捉えない時間軸を入れると、vanilla RAGを含むほとんどの手法が苦戦した。露わになった失敗は二つ。過去の知識を失う破滅的忘却と、時期をまたぐと推論が食い違う時間的な矛盾だ。彼らは時間を意識した検索ベースライン（Chronos）を提案するが、裏を返せば、素朴に追加学習しても・素朴に検索しても、進化する知識には追いつけない、ということだ。

「事実」と「スキル」の線

二つの向きを重ねると、境目が見えてくる。分かれ目は局所化——更新すべき箇所（どのパラメタ／メモリスロット）を少数に絞り込めるかだ。忘却を大きく抑えられたのは、個別の事実を注入する課題だった¹。答えが一点に定まる事実は、それに強く反応するスロットだけを触ればよく、更新を局所化できる。一方でうまくいかないのは、開かれたスキルの獲得³と、進化する知識への追随⁴——ひとくくりにできない別々の二つの課題だ。スキルは能力が多数の重みに分散していて「どこを直せば身につくか」を絞れず、進化する知識は「何が正しいか」自体が時間で動くため触るべき箇所が定まらない。どちらも、事実注入のようには局所化できない。

だから現状は、凍結が「事実」で溶けかけ、局所化できない側——「スキル」と、それとは別口の「進化する知識」——ではまだ残る、とまとめられる。これは悲観でも楽観でもない。知識注入という限られた面では、破滅的忘却は測れる形で後退した。しかし「使うほど賢くなるエージェント」の核心——経験からスキルを貯め、変わる世界に合わせ続ける——は、まだ、手法が安定して他を上回れる問題になっていない。

この報告を、どう割り引くか

留保はいくつもある。疎メモリの鮮やかな数字は、事実的な質問応答という一つの土俵で測られたもので、スキルや推論の継続学習に同じ効きが出るとは限らない¹。実世界系のベンチマーク（SkillLearnBench・知識ドリフト）は登場したばかりで、独立再現やタスクの代表性はこれからだ³⁴。数字は各チームの読みであって、確定した順位ではない。

それでも、別々のチームが別々の角度から同じ線に行き着いている。局所化できる知識の更新は進み、局所化できないスキル・時間の学習は残る。実務的な含意は地味だが重要だ。「後から覚えさせた」と言われたら、何を覚え、何を忘れず、それはいつまで正しいのかを問い直す。継続学習に、魔法の「学び続けるスイッチ」は無い。あるのは、どの面をどこまで動かすかという設計判断だけだ。

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。