In Silico

AIエージェント

スパースオートエンコーダ（SAE）とは？AIの内部はどこまで読めるか

2026/7/27 （更新: 2026/11/3）

🤖 AIを使用して執筆

  • スパースオートエンコーダ
  • 解釈可能性
  • 大規模言語モデル
  • Claude 3 Sonnet
  • Gemma Scope
  • Golden Gate Claude
  • スパース・プロービング
  • 帰属グラフ
  • クロス層トランスコーダ
  • 特徴
  • 単一意味性
  • ステアリング
  • 回路追跡
  • プローブ
  • ニューロン
  • 活性
  • Anthropic
  • OpenAI
  • Google DeepMind
  • GPT-4
  • Gemini
  • 金門橋
  • ロンドン
  • ベースライン
  • Claude Sonnet 4.5
目次
背景・問い・要点
背景

大規模言語モデルは、文章を書き、コードを直し、判断の下書きを作るところまで実務に入ってきた。それでも「なぜそう答えたのか」は外から見えない。モデルの中の計算は、層と呼ばれる段を順に通る。入力の文ごとに、各層にある多数の素子（ニューロン）がそれぞれ一つの数値を出し、その数値の並びが次の層へ渡されていく。この数値を活性と呼ぶ。活性はただの数の並びで、人間が使う概念の名前は付いていない。しかも一つの素子が、無関係な複数の概念に同時に反応することが多い。この状態を多義的と呼ぶ。素子を一つずつ見ても意味を読み取れないのはこのためで、中が見えないままだと、直せるのは入口（指示の書き方）と出口（後段の検査）だけになり、原因そのものには手が届かない。

スパースオートエンコーダ（Sparse Autoencoder、SAE）は、この活性を人間が名前を付けられる単位へほどくための仕組みである。SAE は、ある層の活性を受け取り、素子の数より多い個数の特徴（feature）の値に置き換えて返す。学習では二つの条件を同時に課す。一つは、特徴の値から元の活性をなるべく正確に復元できること。もう一つは、一つの入力で 0 でない値を持つ特徴をごく少数に限ること（「スパース」、つまり疎であること）である。少数の特徴だけで多くの入力を復元するには、多くの入力に繰り返し現れる活性の型を、一つの特徴として持つのが有利になる。うまくいくと、一つの特徴が一つの意味に近い範囲の入力でだけ反応するようになり、その特徴が強く反応する入力を集めて名前を付けられる。特徴の値は、同じものを指して特徴の活性とも呼ばれる。名前の付いた特徴の値を人為的に書き換えてモデルの出力を動かす操作をステアリングと呼ぶ。内部がこうして読めるようになれば、失敗の原因を中から辿ったり、望まない振る舞いを名指しで抑えたりできるかもしれない。実務の側がこの研究に期待しているのは、そこである。

問い

スパースオートエンコーダ（SAE）で、AI の内部はどこまで読めるのか。

要点

AI の内部は、SAE で名前の付く特徴を取り出し、その活性を動かして振る舞いを変えるところまでは読める。ただし SAE が取り出せるのは概念のごく一部で、読めた特徴が実務に使えることは、本稿が引く測定では示されていない。

SAE で特徴を取り出す研究は Anthropic・OpenAI・Google DeepMind が独立に進め、Anthropic は金門橋の特徴を強めたモデルを一般に公開した。一方、ある測定では、SAE の特徴で概念の有無を当てる分類器が、データが少ないなど難しくした4条件のどれでも、データセット平均で活性をそのまま使う単純な分類器を下回った。

モデル・例示

素子4個の活性を、SAE が12個の特徴に分ける

※ この節の例は、説明のために作った架空のものです。

SAE が一つの文の活性を受け取って少数の特徴の値を返し、その値から元の活性を戻す一回を、素子4個の小さなモデルで数でたどる。同じ数の例で、名前が付く特徴と付かない特徴、特徴を強めたときの出力の変化、分類に使えるかが見える。

素子を n1〜n4 の4個とし、活性を (n1, n2, n3, n4) と書く。五つの文を入れたときの活性は次のとおりである。

入力の文活性 (n1, n2, n3, n4)
橋の文(1.0, 0.8, 0.2, 0.0)
料理の文(1.0, 0.2, 0.8, 0.0)
怒りの文(1.0, 0.5, 0.5, 0.6)
喜びの文(0.5, 0.5, 0.0, 0.3)
悲しみの文(0.5, 0.0, 0.5, 0.3)

n1 は橋・料理・怒りのどの文でも 1.0 を出すので、n1 の値だけではいまの文がどの話かは言えない。n1 は多義的である。

この層に、特徴12個の SAE を学習させてある。12個の特徴はそれぞれ、復元に使う4個の値の並び（以下、復元の向き）を持ち、この並びも学習で決まる。特徴3 の復元の向きは (1.0, 0.8, 0.2, 0.0)、特徴7 は (1.0, 0.2, 0.8, 0.0) である。橋の文の活性を SAE に入れると、SAE は学習で決まった計算で12個の特徴の値を出して返し、0 でないのは特徴3 の 1.0 だけである。復元では、0 でない特徴の値にそれぞれの復元の向きを掛けて足す。ここでは 1.0×(1.0,0.8,0.2,0.0)1.0 \times (1.0, 0.8, 0.2, 0.0) で、元の活性 (1.0, 0.8, 0.2, 0.0) に戻る。料理の文では特徴7 だけが 1.0 になり、同じ計算で元に戻る。多くの文を入れて確かめると、特徴3 は橋の文でだけ、特徴7 は料理の文でだけ 0 でない値を出す。そこで特徴3 を「橋の特徴」、特徴7 を「料理の特徴」と名付ける。n1 では区別できなかった二つの話題が、特徴の上では別々の値になった。

怒りの文 (1.0, 0.5, 0.5, 0.6) では、特徴5 と特徴9 がどちらも 1.0 を返す。二つの値にそれぞれの復元の向きを掛けて足すと、元の活性に戻る。ところが喜びの文 (0.5, 0.5, 0.0, 0.3) では特徴5 だけが 1.0 を、悲しみの文 (0.5, 0.0, 0.5, 0.3) では特徴9 だけが 1.0 を返す。どちらの特徴も怒り以外の文で反応するので、どちらにも「怒り」の名前は付かない。怒りの特徴は取り出せなかったが、怒りの情報は消えていない。二つの特徴が同時に反応するという組み合わせが、それを運んでいる。12個のうちには、どの文を入れても 0 しか返さない特徴も残る。

次に、料理の質問の文を入れる。SAE は特徴7 に 1.0 を返すが、ここで特徴3 の値を、橋の文で出た 1.0 の10倍の 10 に書き換えてから復元する。復元される活性は 1.0×(1.0,0.2,0.8,0.0)+10×(1.0,0.8,0.2,0.0)=(11.0,8.2,2.8,0.0)1.0 \times (1.0, 0.2, 0.8, 0.0) + 10 \times (1.0, 0.8, 0.2, 0.0) = (11.0, 8.2, 2.8, 0.0) である。料理の文の活性 (1.0, 0.2, 0.8, 0.0) が、橋の特徴の復元の向きへ大きく動いた。この値を元の活性の代わりに次の層へ渡せば、次の層は橋の話に近い活性を受け取る。実際のモデルでこの操作をした例が要点で触れた金門橋の特徴で、強めたモデルは、直接関係のない問いへの返答でも金門橋に触れるようになった1。

最後に、「入力が怒りの文か」を当てる分類器を考える。活性に重みを掛けて足す線形の分類器なら、n4 に重み 1、ほかに重み 0 を置き、和が 0.45 を超えたら怒りと判定すればよい。怒りの文は 0.6 で怒り、喜びと悲しみの文は 0.3、橋と料理の文は 0.0 で怒りでないと判定され、SAE は使っていない。SAE の特徴を使う分類器なら、特徴5 と特徴9 の値の和が 1.5 を超えたら怒りと判定すればよく、怒りの文は 2.0、喜びと悲しみの文は 1.0 で当たる。この五つの文では、n4 を使う線形の分類器も、二つの特徴の和を使う分類器も、全部の文を当てる。名前の付く特徴が取り出せたことは、この分類が楽になることを約束しない。実際の文の束でどちらがよく当てるかは、同じ文を両方に入れて正答の割合を比べるまで分からない。

この数の例から、三つのことが言える。

  1. この例で特徴に名前が付いたのは、その特徴が一つの話題の文でだけ 0 でない値を出したからである。名前の付かない特徴や 0 しか出さない特徴も残り、名前が付かなくても、情報は特徴の組み合わせに残りうる。
  2. 特徴の値を書き換えて復元すると、次の層へ渡す活性が、強めた特徴の復元の向きへ動く。実際のモデルでは、それで出力が動く。
  3. 分類に使えるかは別の問いで、活性をそのまま使う線形の分類器と同じ入力で正答の割合を比べて初めて分かる。

何が起きているか

SAE は、多義的なニューロンの活性を、「一つの特徴＝一つの意味」に近い形へほどく。モデルの中の一つのニューロンは、しばしば多義的で、無関係な複数の概念に同時に反応するので、単体では意味を読み取れない。スパースオートエンコーダ（SAE）は、活性をより多くの特徴へ広げ、少数の特徴の組み合わせから元の活性を復元するように学習させる仕組みで、これをかけると重なり合った信号が分かれる。この「一つのニューロンや特徴が一つの意味だけに対応する」状態を単一意味性（monosemanticity）と呼ぶ。

Anthropic は 2024 年、これを実際の製品モデル（Claude 3 Sonnet）の中間層で行い、取り出す特徴の枠を100万・400万・3400万と変えた3つの SAE を学習させた。ただし枠が3400万の SAE でも、実際に反応する（生きている）特徴は約1200万だった。同社は訓練手順の改善でこの死んだ特徴を今後減らせると見込んでいる2。

特徴へほどく研究は、別々のチームが独立に進めた。つまり、これは一社だけの主張ではない。OpenAI は独自の手法で GPT-4 に1,600万規模の特徴を学習させた。ただし同社自身、見つかった特徴のランダムな活性のかなりの割合が、とくに GPT-4 ではまだ十分に単一意味的ではないと限界に挙げ、同じ項目の次の一文で、技術の改善と規模の拡大で克服しうると考えるとも書いている3。Google DeepMind は Gemma 2 向けの SAE 一式「Gemma Scope」を公開した4。

その後、DeepMind は SAE への力の入れ方を下げた。Gemma Scope を出した DeepMind の解釈可能性チームは2025年3月、SAE を実際の課題に使って否定的な結果が出たことを挙げて「当面はSAEの基礎研究の優先度を下げ、別の方向を探っている。とはいえ SAE は今後も道具箱に残る」と表明している5。撤退ではなく、優先度の引き下げである。同じチームは2025年12月、Gemma 3 の 270M〜27B の全層で学習した SAE とトランスコーダ（SAE の変形）の一式「Gemma Scope 2」を公開した6。

Anthropic は、特徴が読めるだけでなく、効くと報告している。同社によれば、ある特徴の活性を最大値の10倍といった水準へ人為的に固定（クランプ）すると、モデルの出力自体がその概念に引きずられる。金門橋の特徴でこれを行うと、モデルは自分自身を金門橋だと名乗り始めたという2。ただし同社は、面白い結果を得るには活性を訓練データで観測された範囲の外へ押し出す必要があり、押し過ぎる（観測最大の±100倍）とモデルは同じトークンを繰り返すなど意味をなさなくなる、とも書いている2。これらは査読を経た論文ではなく、同社の技術レポートでの報告である。一般公開された実演が “Golden Gate Claude”（2024年5月）で、同社は「ほとんどの問いへの返答が、直接関係のない場面でも金門橋に触れるようになる」と書いている1。

Anthropic のこの研究は、中を読むだけでなく、特徴の活性を動かして出力を変える操作（ステアリング）まで届いた、という意味で新しい。ただし、Gemma 2 の 2B・9B で、ステアリングをプロンプトや微調整と同じベンチマークで採点した測定では、SAE はその両方に及ばなかった7。著者らは、この不振の一部は、SAE の特徴に自動で付けた説明の限界によると書いている7。

2025 年、Anthropic は個々の特徴を読むことから、特徴どうしのつながりを読むことへ対象を広げた。特徴どうしのつながりを帰属グラフ（attribution graph）として描き、モデルが入力から出力へ至る途中の計算の連鎖を辿ろうとした。これはクロス層トランスコーダ（複数の層にまたがる SAE の変形）を使い、Claude 3.5 Haiku を対象にした「回路追跡（circuit tracing）」の試みである8。研究は、特徴という「部品」を一つずつ眺める段階から、それらが組み合わさって働く「回路」を追う段階へ移りつつある。ただしこれも査読を経ていない同社の技術レポートである。同社自身、帰属グラフから満足のいく洞察が得られたのは試したプロンプトのおよそ4分の1だとし、取り上げた例は成功例に偏った標本だと断っている。しかも「成功した事例研究においてさえ、取り上げた発見はモデルの機構のごく一部しか捉えていない」とも書いている8。

OpenAI の Gao らは2025年11月、学習済みのモデルを後からほどくのではなく、重みの大半をゼロに制約して最初から学習したモデルを手作りの課題ごとに刈り込み、人間が理解できる回路を取り出したと報告した9。ただし同じ報告は、重みを疎にするほど解釈しやすさと引き換えに能力が落ち、解釈しやすさを保ったまま非ゼロのパラメータを数千万より増やすのはまだ難しいと書いている9。

Anthropic は2026年5月、SAE や帰属グラフの出力は訓練を積んだ研究者が注意深く解釈しなければならないとして、活性を直接読める文章に変える方法（Natural Language Autoencoders）を発表した10。Anthropic はこれを Claude の安全性試験で、評価されていると気づいているかを調べるのに使った。ただし同社自身、その説明は誤りうることと、費用が大きいことを限界に挙げている10。

言える範囲と留保

留保がいくつかある。

出典15件

  1. Anthropic「Golden Gate Claude」2024-05-23. https://www.anthropic.com/news/golden-gate-claude — 金門橋の特徴を強めたモデルの一時公開の告知。ほとんどの問いへの返答が、直接関係が無くても金門橋に触れるとする（すべての応答とは書いていない）。 ↩ ↩2

  2. Anthropic「Scaling Monosemanticity」Transformer Circuits, 2024. https://transformer-circuits.pub/2024/scaling-monosemanticity/ — Claude 3 Sonnet 中間層に約100万・400万・3400万の SAE。3400万は約65%が dead（生存約1200万は導出）。10倍で金門橋を名乗り±100倍で崩れる。 ↩ ↩2 ↩3

  3. Leo Gao ほか（OpenAI）「Scaling and evaluating sparse autoencoders」ICLR 2025. https://arxiv.org/abs/2406.04093 — GPT-4 の活性に1,600万規模の特徴の SAE を学習。見つかった特徴のランダムな活性のかなりの割合は、とくに GPT-4 で十分に単一意味的でないと限界に挙げる。 ↩

  4. Tom Lieberum ほか「Gemma Scope: Open Sparse Autoencoders Everywhere All At Once on Gemma 2」2024. https://arxiv.org/abs/2408.05147 — Google DeepMind が Gemma 2 向けの JumpReLU SAE 一式を公開。 ↩

  5. L. Smith ほか「Negative Results for Sparse Autoencoders On Downstream Tasks and Deprioritising SAE Research」2025. https://deepmindsafetyresearch.medium.com/negative-results-for-sparse-autoencoders-on-downstream-tasks-and-deprioritising-sae-research-6cadcfc125b9 — DeepMind の報告。SAE プローブが線形プローブに劣り、SAE 基礎研究の優先度を当面下げる。 ↩

  6. Google DeepMind「Gemma Scope 2」2025-12-19. https://deepmind.google/blog/gemma-scope-2-helping-the-ai-safety-community-deepen-understanding-of-complex-language-model-behavior/ — Gemma 3 の 270M〜27B の全層で学習した SAE とトランスコーダを公開。同社は、知る限り AI ラボによる解釈可能性ツールの公開として最大と書く。 ↩

  7. Zhengxuan Wu ほか「AxBench: Steering LLMs? Even Simple Baselines Outperform Sparse Autoencoders」ICML 2025. https://arxiv.org/abs/2501.17148 — Gemma-2-2B/9B のステアリングで SAE はプロンプト・微調整に及ばず、一部は自動説明付けの限界とする。 ↩ ↩2

  8. Anthropic「On the Biology of a Large Language Model」Transformer Circuits, 2025. https://transformer-circuits.pub/2025/attribution-graphs/biology.html — クロス層トランスコーダの帰属グラフで Claude 3.5 Haiku の計算を辿る。満足な洞察は約4分の1のプロンプト、成功例でも機構のごく一部と書く。査読なし。 ↩ ↩2

  9. Leo Gao ほか（OpenAI）「Weight-sparse transformers have interpretable circuits」2025. https://arxiv.org/abs/2511.13653 — 重みを疎にして学習したモデルから課題ごとの回路を取り出す。疎にするほど能力が落ち、非ゼロのパラメータ数千万より先への拡大は課題とする。 ↩ ↩2

  10. Anthropic「Natural Language Autoencoders: Turning Claude’s thoughts into text」2026-05-07. https://www.anthropic.com/research/natural-language-autoencoders — 活性を文章に変える方法。SAE の出力は研究者の解釈が要るとし、説明は誤りうる・費用が大きいと書く。 ↩ ↩2

  11. Anthropic「Mapping the mind of a large language model」2024-05-21. https://www.anthropic.com/news/mapping-mind-language-model — 見つかった特徴は概念のごく一部で、全部を取る計算量は学習を大きく超えるとする。ロンドンの自治区で特徴が見つかったのは約6割（本体レポート）。専用の特徴が無くても情報が無いとは限らない。 ↩

  12. Anthropic「Scaling Monosemanticity」の特異性の節, 2024. https://transformer-circuits.pub/2024/scaling-monosemanticity/ — 強い活性はほぼ金門橋への言及だが、弱まるほど特異性が落ち、近縁の観光名所・似た橋・記念建造物にも反応する。弱い活性でも特異性はある程度保たれるとも書く。 ↩ ↩2

  13. Kantamneni ほか「Are Sparse Autoencoders Useful? A Case Study in Sparse Probing」ICML 2025. https://arxiv.org/abs/2502.16681 — 難しい4条件の平均で SAE プローブはベースラインに劣る。他課題での有用性は否定しない。改良版の優位は単一トークンのベースライン比のみと割り引く。 ↩

  14. János Kramár ほか（Google DeepMind）「Building Production-Ready Probes For Gemini」2026. https://arxiv.org/abs/2601.11516 — サイバー悪用の検出プローブを評価し、Gemini の一般利用者向けの環境での悪用対策プローブの展開に生かされたと抄録が書く。展開は自己申告で仕様は非公開。 ↩

  15. Anthropic「System Card: Claude Sonnet 4.5」2025-09. https://assets.anthropic.com/m/12f214efcc2f457a/original/Claude-Sonnet-4-5-System-Card.pdf — §7.6 で学習途中のモデルに SAE を学習させ、評価だと気づく内部表現の強まりを調べた。その特徴などを抑えるステアリングで、一部の評価のアラインメント改善の一部はこの気づきによると示唆。最初の試みで、機構は未解明とする。 ↩

この記事はAIを使用して執筆されました。内容には誤りが含まれる可能性があります。事実や数字の出典は脚注から確かめられます。