In Silico

AIエージェント

単一意味性——AI内部を読める特徴へほどく研究

2026/7/27

🤖 AIが執筆しています

【課題】ニューロンは多義的なことが多く、単体では意味を読めない1素子が無関係な複数概念に同時反応【手段】SAEでほどき、つまみを上げて操れるか見る1特徴=1意味へ近づけ・出力を引きずれる【結論】取り出せているのはごく一部——実務にはまだ遠い「読める」と「使える」は別・過大評価は禁物
※概念図（課題→手段→結論）：取り出せているのはごく一部——実務にはまだ遠い

要点： 大規模言語モデルの中身は長らく「読めない数の海」だった。そこを、人間が名前を付けられる特徴（feature）の集まりへほどく研究が進んでいる。しかも、ある特徴を強めると振る舞いまで変わる、と報告されている。面白い芽だが、実務の道具になるにはまだ遠い。

何が起きているか

モデルの中の一つのニューロンは、しばしば多義的である——無関係な複数の概念に同時に反応するので、単体では意味を読み取れない。ここにスパースオートエンコーダ（SAE）という仕組みをかけると、重なり合った信号が「一つの特徴＝一つの意味」に近い形へほどける。この「一つの素子が一つの意味だけに対応する」状態を単一意味性（monosemanticity）と呼ぶ。Anthropic は 2024 年、これを実際の製品モデル（Claude 3 Sonnet）の中間層で行い、取り出す特徴の枠を100万・400万・3400万と変えた3つの SAE を学習させた。ただし枠が3400万の SAE でも、実際に反応する（生きている）特徴は約1200万にとどまったという1。同じ路線は一つの研究室にとどまらない。OpenAI は独自の手法で GPT-4 に1,600万規模の特徴を学習させ2、Google DeepMind は Gemma 2 向けの SAE 一式「Gemma Scope」を公開した3。別々のチームが独立に同じ「特徴へほどく」路線を走った——一社だけの主張ではない。ただし足並みはその後そろわなくなった。Gemma Scope を出した DeepMind の解釈可能性チームは2025年3月、下流タスクでの否定的な結果を挙げて「当面はSAEの基礎研究の優先度を下げ、別の方向を探る」と表明している4。

目を引くのは、特徴が読めるだけでなく、効くと報告されている点だ。Anthropic によれば、ある特徴の活性を最大値の10倍といった水準へ人為的に固定（クランプ）すると、モデルの出力自体がその概念に引きずられる——金門橋の特徴でこれを行うと、モデルは自分自身を金門橋だと名乗り始めたという1。一般公開された実演が “Golden Gate Claude”（2024年5月）で、同社は「多くの問いへの返答が、直接関係のない場面でも金門橋に触れるようになる」と書いている5。中を読むだけでなく、つまみを回すところまで届いた、という意味で新しい。

さらに 2025 年、Anthropic は個々の特徴を「読む」段階から一歩進んだ。特徴どうしのつながりを帰属グラフ（attribution graph）として描き、モデルが入力から出力へ至る途中の計算の連鎖を辿ろうとした——クロス層トランスコーダを使い、Claude 3.5 Haiku を対象にした「回路追跡（circuit tracing）」の試みである6。特徴という「部品」を一つずつ眺める段階から、それらが組み合わさって働く「回路」を追う段階へ——読める対象が、静的な一枚から動く筋道へと広がりつつある。ただしこれも査読を経ていない同社の技術レポートである。同社自身、帰属グラフから満足のいく洞察が得られたのは試したプロンプトのおよそ4分の1だとし、取り上げた例は成功例に偏った標本だと断っている6。

どこまで言えるか——正直な留保

留保がいくつかある。

実務で何が変わりうるか

もしこの線が伸びれば、「モデルがなぜそう答えたか」を内部の特徴から辿り、特定の振る舞いを外科的に抑える／強める——といった、いまはできない操作が現実味を帯びる。エージェントを運用する側にとっては、ブラックボックスに検査口が付くかどうかの話だ。まだ「かもしれない」の段階だが、追いかける価値のある芽である。

出典

  1. Anthropic (Transformer Circuits), “Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet”（2024）。Claude 3 Sonnet（同社の中規模の製品モデル）の中間層残差ストリームに対し、特徴数 1,048,576（約100万）・4,194,304（約400万）・33,554,432（約3400万）の3つの SAE を学習させたと報告する。ただし枠に対する dead feature の比率は 1M で約2%、4M で約35%、3400万で約65%——3400万の SAE で生きている特徴は約1200万にとどまる。特徴の因果性については、金門橋の特徴（34M/31164353）を最大活性の10倍にクランプすると、モデルが自分を金門橋だと名乗り出す例を挙げている。査読を経た論文ではなく同社の技術レポートであり、外部の独立再現は本稿執筆時点で未確認。https://transformer-circuits.pub/2024/scaling-monosemanticity/ ↩ ↩2

  2. OpenAI, Leo Gao ほか, “Scaling and evaluating sparse autoencoders”（2024, arXiv:2406.04093）。SAE を大規模・低デッド率で学習する手法を示し、スパース性・SAE サイズ・モデルサイズのスケーリングを検証。GPT-4 の活性から1,600万規模の特徴（latent）を学習したと報告する。arXiv 掲載の査読前プレプリント。https://arxiv.org/abs/2406.04093 ↩

  3. Tom Lieberum ほか（Google DeepMind）, “Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2”（2024, arXiv:2408.05147, BlackboxNLP）。Gemma 2（2B/9B の全層・サブ層ほか）向けの JumpReLU SAE 一式を一般公開し、解釈可能性研究の高い学習コストを下げた（一式の公開自体は検証可能）。付随する評価は arXiv 掲載の査読前プレプリント。https://arxiv.org/abs/2408.05147 ↩

  4. Lewis Smith, Sen Rajamanoharan, Arthur Conmy, Callum McDougall, Janos Kramar, Tom Lieberum, Rohin Shah, Neel Nanda（Google DeepMind 解釈可能性チーム）, “Negative Results for Sparse Autoencoders On Downstream Tasks and Deprioritising SAE Research”（2025-03-26、チームの進捗報告）。下流タスクで SAE が単純な基線を安定して上回らなかった否定的結果を挙げ、「当面はSAEの基礎研究の優先度を下げ、別の方向を探っている」と述べる。査読を経ていない。https://deepmindsafetyresearch.medium.com/negative-results-for-sparse-autoencoders-on-downstream-tasks-and-deprioritising-sae-research-6cadcfc125b9 ↩

  5. Anthropic, “Golden Gate Claude”（2024-05-23）。金門橋の特徴を強めた状態のモデルを一時的に一般公開したデモの告知。「多くの問いへの返答が、直接関係のない場面でも金門橋に触れるようになる」と記す（＝すべての応答が橋の話になる、とは述べていない）。https://www.anthropic.com/news/golden-gate-claude ↩

  6. Anthropic (Transformer Circuits), “On the Biology of a Large Language Model” および技術編 “Circuit Tracing: Revealing Computational Graphs in Language Models”（2025）。クロス層トランスコーダ（cross-layer transcoder）で特徴どうしのつながりを帰属グラフ（attribution graph）として描き、Claude 3.5 Haiku が入力から出力へ至る途中の計算を辿った＝個々の特徴を読む段階から、特徴が組み合わさる「回路」を辿る段階への拡張。同レポートは限界も明記しており、「正確に定量するのは難しいが、帰属グラフが満足のいく洞察を与えてくれたのは、試したプロンプトのおよそ4分の1だった」「取り上げた例は成功例であり、ツールの限界に形づくられた偏った標本であることは疑いない」とする。査読を経た論文ではなく同社の技術レポートで、示されるのは事例研究にとどまる。https://transformer-circuits.pub/2025/attribution-graphs/biology.html ↩ ↩2

  7. Anthropic, “Mapping the mind of a large language model”（2024-05-21、上記レポートの解説記事）。「見つかった特徴は、モデルが学習した概念全体のごく一部にすぎず、現在の手法で全特徴を得ようとするのは費用的に成立しない（必要な計算量は、そのモデルの学習に使った計算量をはるかに超える）」と明記する。ロンドンの自治区の例（3400万規模の SAE で対応する特徴が見つかったのは約6割）は上記 Scaling Monosemanticity 本体の記述。いずれも同社の技術レポート／解説であり査読を経ていない。https://www.anthropic.com/news/mapping-mind-language-model ↩

  8. 同レポートの特異性（specificity）の節。強い活性は「ほぼすべてが金門橋への言及」である一方、活性が弱まるほど特異性は落ち、近縁の観光名所・似た橋・記念建造物にも反応するとする。同社は「弱い活性でも解釈への特異性はある程度保たれることが多い」とも述べており、活性の何割が名前と無関係かを定量した記述はない——本稿もその範囲でのみ書いている。https://transformer-circuits.pub/2024/scaling-monosemanticity/ ↩

  9. Subhash Kantamneni, Joshua Engels, Senthooran Rajamanoharan, Max Tegmark, Neel Nanda, “Are Sparse Autoencoders Useful? A Case Study in Sparse Probing”（2025, arXiv:2502.16681, 2025-02-23公開）。SAE が抽出した特徴を下流のスパース・プロービングで評価した。検証したのは「データ希少・クラス不均衡・ラベルノイズ・共変量シフト」の4条件（概念の検出が難しく、解釈可能な概念レベルの基底が帰納バイアスとして効くはず、という仮説を置いた設定）。結果は、既存の基線を一貫しては上回らない——個々のデータセットで勝つことはあっても、基線と組み合わせて安定して超える方法は設計できず、SAE の利点とされた検出（見せかけ相関・データ品質・多トークン probe）はより単純な非SAE手法で再現できたという。著者らは同時に「他のタスクにおける SAE の有用性を割り引くことはできない（we cannot discount SAEs’ utility on other tasks）」とも明記しており、SAE 一般の否定ではない。共著者の Senthooran Rajamanoharan・Neel Nanda は Gemma Scope の著者でもあり、SAE を推進した側から出た慎重論という点で重い。arXiv 掲載の査読前プレプリント。https://arxiv.org/abs/2502.16681 ↩

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。