AI・信頼性・評価
AI形式的証明が保証するのは形式化した命題だけ
目次
要点: AIに数学を「形式的証明つき」でやらせる流れが、本物になってきた。証明支援系 Lean を使えば、機械が一行ずつ論理を検証するので、通れば絶対に正しい——そういう触れ込みだ。実際、Josef Urban は教科書のトポロジーを2週間・約100ドルで13万行分も形式化してみせ1、DeepMindらの評価基盤では未解決の予想の解決が報告された2。だが落とし穴がある。機械が保証するのは、AIが書いた「形式の命題」だけだ。その形式化が元の主張とズレて——たとえば弱まって——いれば、証明が通っても保証は空になる。そして自動形式化は、まさにそこが脆い。言い換えや細部の変更に忠実さを保てず3、難しい領域では成功率も低い4。「機械が検証した」は、「あなたの主張が正しい」とは違う。
「形式的証明つき」が、本物になってきた
数学やコードの正しさを機械が保証する——これが形式的証明(formal proof)の魅力だ。人間の査読は見落とすが、Lean のような証明支援系は、論理の一歩でも穴があれば通さない。長らくこれは、専門家が手で命題を書き下す、重い営みだった。そこにLLMが入って、風景が変わりつつある。
象徴的なのが、Josef Urban の実験だ。LLMと高速な証明チェッカーの間に単純なフィードバックループを組み、Munkres の一般トポロジーを自動形式化した。結果は、2週間で約13万行(累計16万行)、費用はLLM利用料で約100ドル。Urysohn の補題(3千行)、Urysohn の距離化定理(2千行)、Tietze の拡張定理(1万行超)を含み、定理・補題は1500本を超えた1。使ったのは市販の ChatGPT や Claude を CLI 経由で回しただけだ。「安く・速く・大量に」形式数学が積み上がる時代が、確かに来ている。
前進は分量だけではない。DeepMind らの Formal Conjectures は、Lean 4 で書かれた2615問の評価基盤で、うち1029問は未解決の研究予想(学習データに答えが無い=汚染ゼロ)だ2。狙いは「解けるかを測る」だけでなく「解かせる」ことにあり、著者らはこの基盤を使って未解決の研究予想が実際に解決されたと報告する。形式的証明は、採点の道具から発見の道具へ踏み出しつつある。
だが、保証するのは「形式化した命題」だけ
ここで立ち止まりたい。形式的証明の保証には、原理的な但し書きがある。機械が検証するのは、Lean に書かれた形式の命題 P が証明できる、という事実だけだ。あなたが本当に示したかった主張 Q と、その形式化 P が一致している保証は、機械の側には無い。P が Q より弱ければ——条件を落とす、範囲を狭める、自明な場合に化けさせる——証明は通るのに、Q については何も言えない。「機械検証済み」という言葉は、この形式化のギャップを飛び越えて響いてしまう。
これは抽象的な心配ではない。自然言語の主張を形式に写す自動形式化(autoformalization)こそ、AIに任せたい工程であり、同時に一番ずれやすい工程だからだ。証明が緑になったことと、緑になった命題が正しい主張であることは、別の話だ。
形式化は、そこが脆い
その脆さを正面から測った研究がある。Gui らは、証明の自動形式化が不完全な入力にどれだけ頑健かを初めて体系的に評価した3。miniF2F と MATH-500 を土台に、7つのLLMベースのモデルを、二種類の摂動にかけた。大域的摂動(同じ証明を別の言い回しに書き換える)と、局所的摂動(値や証明の一手を変える)だ。
結果は芳しくない。モデルは言い換えに敏感で、出力が不安定に揺れた。さらに悪いのは局所的摂動で、細部の変更に忠実であり続けられなかった——変更を正しく反映せず、元の形式化に戻ってしまうか、誤った別物を吐いた3。つまり、入力の主張を少しいじると、形式化は別の命題を証明しにいく。著者らは、現行の自動形式化は実用に足る頑健さを欠くと結論する。形式化のギャップは、理屈だけでなく実測でも開いている。
そして、難所ではまだ弱い
証明を作る力そのものにも天井がある。FormalMATH は、形式数学の推論を代数・微積分・数論・離散数学など多領域で測るベンチマークだ4。そこでの最良の成績は、実用的なサンプリング予算のもとで成功率16.46%にとどまった。しかも領域の偏りが激しく、代数では健闘する一方、微積分では失敗が目立った。得意な土俵では見栄えがするが、難所ではまだ足元が定まらない、というわけだ。
この報告を、どう割り引くか
一部はプレプリントで、独立再現やベンチの代表性はこれからだ。数字は各チームの読みであって確定ではない。肯定側にも留保がいる。13万行の快挙は教科書の既知数学を写した話で、未知の定理を生む話とは違う1。Formal Conjectures の「解決」も、基盤全体ではなく特定の予想での成果で、どの予想がどれほどの重みを持つかは論文の要旨では特定されていない2。誇張は禁物だが、過小評価も違う——安く大量に形式数学が積める事実は、重い。
それでも、二つの向きを重ねると芯は動かない。AI形式的証明は確かに前進している。ただし「機械が検証した」という言葉が保証するのは、AIが形式化した命題であって、あなたの主張そのものではない。形式化は言い換えや細部でずれ3、難所ではまだ弱い4。実務的な作法は一つだ。「形式的証明つき」と聞いたら、証明が通ったことではなく、通った命題が、示したかった主張と噛み合っているかを確かめる。「証明が通った」と「主張が正しい」は、同じではない——形式化という、もう一段の検証がその間に挟まっている。
出典
-
[positive] Josef Urban, “130k Lines of Formal Topology in Two Weeks: Simple and Cheap Autoformalization for Everyone?”(arXiv:2601.03298, 2026年1月公開・査読前)。LLMと高速な証明チェッカーの単純なフィードバックループで、Munkres の一般トポロジーを自動形式化。2025年12月22日〜2026年1月4日の約2週間で約13万行(累計16万行)、LLM利用料は約100ドル。Urysohn の補題(3千行)、Urysohn の距離化定理(2千行)、Tietze の拡張定理(1万行超)を含み、補題・定理は1500本超。市販の ChatGPT(主に5.2)や Claude Sonnet 4.5 を Codex/Claude Code の CLI 経由で使用。安価・高速な自動形式化が実在する側の一次証拠。https://arxiv.org/abs/2601.03298 ↩ ↩2 ↩3
-
[positive] Moritz Firsching, Paul Lezeau, Salvatore Mercuri, Miklós Z. Horváth, Yaël Dillies, Calle Sönne, Eric Wieser, Fred Zhang, Thomas Hubert, Blaise Agüera y Arcas, Pushmeet Kohli ほか, “Formal Conjectures: An Open and Evolving Benchmark for Verified Discovery in Mathematics”(arXiv:2605.13171, 2026年5月13日公開・査読前)。Lean 4 で形式化した2615問の進化的オープンベンチ。うち1029問は未解決の研究予想(学習データ非汚染)、836問は自動形式化用の既解決問題。証明発見の最前線を測るだけでなく、この基盤を用いて未解決の研究予想が実際に解決されたと報告する。形式的証明が発見の道具になりうる側の一次証拠(DeepMind 系の著者を含む)。https://arxiv.org/abs/2605.13171 ↩ ↩2 ↩3
-
[negative] Zhengtao Gui, Sheng Yang, Zhouxing Shi, “Evaluating the Robustness of Proof Autoformalization in Lean 4”(arXiv:2606.14867, 2026年6月12日公開・査読前)。証明の自動形式化(自然言語の証明を Lean 4 の形式的証明へ翻訳)の頑健性を初めて体系的に評価。miniF2F と MATH-500 で7つのLLMベースのモデルを、大域的摂動(言い換え)と局所的摂動(値・手順の変更)にかけた。全モデルが言い換えに敏感で、局所的変更には忠実さを保てず、元の形式化に戻るか誤った別物を生成。現行の自動形式化は実用に足る頑健さを欠くと結論——形式化が元の主張とずれうる実測証拠。https://arxiv.org/abs/2606.14867 ↩ ↩2 ↩3 ↩4
-
[negative] Zhouliang Yu, Ruotian Peng, Keyi Ding ほか, “FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models”(arXiv:2505.02735, 2025年5月5日公開・査読前)。代数・応用数学・微積分・数論・離散数学など多領域にわたる形式数学の推論ベンチ。最新のLLMベース定理証明器でも、実用的なサンプリング予算のもとで最良の成功率は16.46%にとどまり、領域バイアスが顕著(代数は得意、微積分で失敗)。証明生成能力に明確な天井と偏りがある側の一次証拠。https://arxiv.org/abs/2505.02735 ↩ ↩2 ↩3
この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。