In Silico

AI・信頼性・評価

EUのAI表示義務が適用開始、機械可読の印は万全ではない

2026/8/16

目次
【背景】EUはAI生成物への表示を義務づけた2026年8月2日から適用が始まった【問い】表示の義務は、検出を保証するのか印は除去も偽造もできると報告がある
※概念図(背景→問い):表示の義務と検出の保証は別のもの
背景

作られた画像や文章が本物と見分けられなくなるにつれ、「これは機械が作ったものです」と示す仕組みが求められてきた。見えない印を埋め込む、出どころの記録を持ち回る、公表するときに一言添える——方法はいくつも提案され、そのうちのいくつかは法律の言葉になった。

ただし義務づけられたのは、あくまで表示するほうである。印を付けよと定めることと、付いていない物を見つけられることは、同じではない。印は消せるかもしれないし、付いていない物に後から偽の印を足せるかもしれない。守らせる仕組みを整えても、確かめる仕組みはひとりでには付いてこない。確かめる側は、それとは別に用意しなければならない。

制度が実際に動き出すと、この差は現場の負担として現れる。作る側は何をどこに付ければ義務を果たしたことになるのか、受け取る側は付いていないものをどう扱えばよいのか。条文が求めていることと、技術が保証できることのあいだに隙間があるなら、その隙間の形をあらかじめ知っておいたほうがいい。

問い

表示を義務づけることは、機械が作ったものを見分けられることを保証するのか——制度の条文と、印の壊れ方の報告を突き合わせる。

要点

2026年8月2日、EU AI法(AI Act)第50条の透明性義務が適用開始となった。AIシステムの提供者はAI生成物に機械可読の印を付けなければならず、公共的関心事項に関するAI生成テキストを公表する側には開示義務がかかる1。欧州委員会は7月20日に公表した指針で、直接人と対話するAIシステム、AI生成・改変コンテンツ、感情認識・生体分類、そしてディープフェイクと、人の編集管理を経ない公共的関心事項に関するAI生成文章という4分野を対象に整理した1。8月2日より前に市場に出ていた生成AIシステムには、印と検知の義務に限って2026年12月2日までの移行期間が置かれている1。適合の道筋は二つある。行動規範への署名と、それに準じる代替手段の提示だ。行動規範には7月末までに約190の企業・団体が署名した2。この印を支える技術の側には、否定的な報告がある。自己回帰型画像生成向けの透かし(ウォーターマーク)は方式ごとに除去か偽造かのいずれかに破れると報告され3、出所証明の標準規格C2PAは独立の安全性分析で主張する安全性の目標を達成できていないと指摘されている4。表示の義務と検出の保証は別のものだ。

8月2日から何が要るのか

EU AI法(AI Act)は、EUにおいてAIシステムの開発・提供・利用に共通のルールを課す規則で、リスクの大きさに応じて義務の重さを変える構造を持つ。その中の第50条が、AIが関わることをどう示すかという透明性義務を定める条文だ。欧州委員会は2026年7月20日に指針を公表し、この第50条の適用が2026年8月2日から始まると明記した1。なお指針そのものは内容が承認された草案の段階にあり、欧州委員会は全言語版が揃った後に正式採択するとして、「適用されるのはその時点からである」と記している1。義務が8月2日から適用されること自体は、これとは独立にAI法第113条が定める。

猶予が全く無いわけではない。指針は、AI法を改正する規則(AI Omnibus)が第50条(2)の印と検知の義務についてのみ限定的な既得権規定を置くとし、2026年8月2日より前に市場に出された生成AIシステムの提供者には、2026年12月2日までに適合させる移行期間が与えられると記す1。対話性と生成性を併せ持つシステムがこの猶予を使えるのは印の義務についてだけで、人と直接対話する場合の開示は8月2日から満たさなければならない1。指針はまた、8月2日より前に生成・改変されたコンテンツを遡って印付け・表示する必要はないとする一方、その日以後に公表されるテキストには表示が要るとしている1

指針が挙げる対象は4分野に整理できる。提供者は、人と直接対話するAIシステムについて、利用者にAIであることを明示的に伝えなければならない。提供者はまた、AI生成物や改変されたコンテンツに、機械可読——人手を介さずソフトウェアが検知できる形式——の印を付け、検知を可能にしなければならない。感情認識や生体分類を行うシステムの利用者(デプロイヤー)は、その使用を開示しなければならない。そしてディープフェイク——実在の人物や出来事を偽って見せるAI生成の音声・映像・画像——と、人の編集管理を経ずに公開される公共的関心事項に関するAI生成テキストは、AIによるものだと明示しなければならない1

このうち本稿が焦点を当てるのは二つ目、AI生成・改変コンテンツへの機械可読な印の要求だ。欧州委員会の文言は明確で、提供者は「AI生成または改変されたコンテンツの検知を可能にする機械可読の印を付加する」ことを求められる1

適合の道筋は二つある

この義務をどう満たすかについて、欧州委員会は二つの道を示している。一つは「AI生成コンテンツの透明性に関する行動規範」への署名だ。この規範は2026年6月10日に最終版が公表された文書で、欺瞞や操作のリスクに対処し、情報環境の健全性を保つことを目的として作られた2。行動規範への署名は任意だが、根拠となる第50条の義務そのものは法的拘束力を持つ2

規範の提供者向け部分は、音声・画像・映像・テキストのAI生成出力について「機械可読な形式で印を付け、人工的に生成または改変されたものとして検知可能にする」ことを求める2。欧州委員会はこの規範を「適合を示すための妥当な任意の手段」と位置づけており、署名した組織は行政上の負担軽減と法的な確実性を得られるとしている2。2026年7月末の時点で、約190の企業・団体がこの規範に署名した2。開示をどう見せるかについても規範は具体的で、署名者は附属書1に収録されたEU共通アイコン、またはその設計と配置の要件に適合する同等のアイコン・ラベルによって開示を行うことを約束する2

署名しない選択肢もある。ただしその場合、事業者は「同等に妥当な代替手段」によって適合を証明しなければならない1。証明の相手は各国の市場監視当局——AI法の遵守状況を監督し、是正を求める権限を持つ当局——になる。指針が署名者の便益として挙げる「単純で、予見可能で、法的に確実な」適合証明の経路は、非署名者には開かれない1。とはいえ規範が無関係になるわけではない。指針は非署名者に対し、実施した措置を妥当と評価された行動規範の措置と突き合わせるギャップ分析を行うべきだとしており、規範の基準は署名しない側にとっても参照点として残る1

開示義務の例外——人のレビューと編集責任

行動規範のもう一つの部分、利用者(デプロイヤー)向けの節には、テキストに関する重要な例外規定がある。ディープフェイクは開示しなければならない。公共的関心事項について国民に知らせるAI生成・改変テキストの公表も開示義務の対象だが、規範が掲げるAI法の法文は二つの免除事由を置く。一つは、犯罪の探知・防止・捜査・訴追のために法律で認められた利用である場合。もう一つは、「そのAI生成コンテンツが人によるレビューまたは編集管理の過程を経ており、かつ自然人または法人がその公表について編集上の責任を負っている場合」だ2

後者が要求するのは二つだ。一つは、公表前に人によるレビューか編集管理のいずれかの工程が存在すること——法文は選言で書かれており、どちらか一方で足りる。もう一つは、その文章について編集上の責任を負う自然人または法人が特定されていることだ。この二つが揃っていれば、公共的関心事項に関するAI生成テキストであっても、この開示義務は生じない。ただしこれは公表する側の開示義務の話で、生成システムの提供者に課された機械可読な印の義務を免じるものではない。公共的関心事項に関するAI生成テキストを公表する発行者にとって、この例外の要件を満たしているかどうかは実務上の分岐点になる。

印は除去できるし、偽造もできる

機械可読な印という要求が前提にする技術について、2026年の研究は脆弱性を報告している。Müllerらは自己回帰型画像生成——画像を一つずつ、あるいはブロックごとに逐次的に生成していく方式で、近年広がっている生成手法——における透かし(ウォーターマーク、生成物に埋め込まれた検知用の信号)の頑健性を調べた3

著者らは「除去攻撃と偽造攻撃の両方に対する脆弱性を実証する」と報告し、「単一の透かし入り参照画像へのアクセスだけで、元のモデルのパラメータにも透かしの秘密にもアクセスすることなく、除去攻撃も偽造攻撃も有効になりうる」としている3。示された攻撃は三つある。ベクトル量子化による再生成を使った除去攻撃、敵対的最適化に基づく攻撃、そして周波数領域への注入攻撃だ3

もう一つの手法が「透かしの模倣(Watermark Mimicry)」だ。これは本物の——AIが関わっていない——画像を操作し、特定の生成器の透かしを模倣させるものである3。除去は生成物を検知から逃す方向の攻撃だが、模倣は逆を狙う。実在するコンテンツを、あたかも機械が生成したかのように見せかけられるということだ。原典は先行研究を引いて、透かしの偽造が「証拠の信用を毀損するために使われうる」ことも指摘している3。真正な素材にAI生成の印を付けられれば、印は真偽を判定する手段ではなく、真正性を否認するための道具になる。

ただし脆弱性の向きは方式ごとに違う。著者らは方式ごとに100枚の透かし入り画像へ各攻撃を仕掛け、透かしを正しく検証できた割合(TPR@FPR=1%)で結果を測っている3。透かし入りの原画像では評価した全方式が1.00を示すが、トークン単位で印を埋めるIndexMarkは、攻撃者がモデルの重みを持たない黒箱設定の再生成攻撃で0.03まで落ちる3。ビット単位で埋めるBitMarkは逆に、再生成系の除去攻撃をいずれも1.00のまま跳ね返し、印が消えるのは検証器の重みと秘密の集合まで手にした最強の攻撃者を仮定したときだけだ3。代わりにBitMarkは偽造に弱く、モデルへのアクセスを一切持たない周波数注入による偽造が最大0.93まで通る3。トークン方式への偽造は反対に、黒箱では10%を超えない3。つまり論文の結論は、トークン方式は除去できるが偽造は難しく、BitMarkは除去にきわめて頑健だが事情を知らない攻撃者の偽造には広く脆い、という相補的な形をとる3。評価された方式のうち、現実的な黒箱設定で除去と偽造の両方に破れたものは無い。著者ら自身は「既存の自己回帰型画像生成向け透かし方式は、データセットのフィルタリング用途における合成コンテンツ検知を確実には支えない」と結論している3

出所証明の規格C2PAも安全性目標を達成していない

機械可読の印を実装する候補の一つに、C2PAという業界標準がある。これはメディアファイルに、暗号署名された来歴情報(Content Credentials)を添付する仕組みで、いつ何によって生成・編集されたかを追跡可能にすることを目指す。AI法自体はC2PAの採用を義務付けてはいない。あくまで印の要求を満たしうる候補の一つという位置づけだ。

Golaszewskiらは、C2PA仕様に対する初の包括的かつ独立の安全性分析を行い、その中に「C2PAの中核プロトコルに対する初めての形式手法による分析」を含むとしている4。「現行のC2PA仕様は、主張している安全性の目標を達成できていない」うえ、信頼できる運用のためにこの種の来歴システムすべてが必要とする「追加の主要な目標」も達成できていないという4。仕様が自ら掲げる目標は二つ——来歴情報の改竄を準拠バリデータが検知できること、ファイルの一部のビットの改変を検知できること——で、著者らはこれに、生成側と検証側でタイムスタンプが一致すること、準拠バリデータ同士の判定が一致すること、ファイルのどのビットの改変も検知できることの三つを加えるべきだとする4

論文は仕様のバージョン2.2〜2.4について、脆弱性を6点に整理する4。タイムスタンプは署名に暗号的に束縛されておらず、差し替えても検出されない。失効した証明書の確認は準拠バリデータに義務づけられておらず、失効した鍵がそのまま通る。準拠したツール同士が、同じファイルに矛盾する判定を返す。「除外範囲」に置かれたバイト列は、署名を壊さずに改変できる。証明書が期限切れになれば、署名済みメディアは検証できなくなる。そして適合認証はおおむね自己申告に基づき、製品の機能やソースコードの検査を伴わない4。挙げられた例はいずれも実機での再現だ。2025年11月にNikonが失効させたZ6 IIIの証明書について、半年を過ぎてもAdobe Inspectは署名を有効と表示し、Verifiedditは無効と表示する——どちらも失効そのものは報告しない4。Pixel 10 Proで撮影した画像では、除外範囲に置かれたGPS情報を書き換えても、準拠バリデータのProofmode Verifyが改変を検出しない4。アリゾナ州務長官のC2PA試行計画で配布された画像は、ファイルが変わっていないのに1年後には検証に通らなくなった4

著者らはこう警告する。C2PAは「時期尚早に依拠すれば、利用者・プラットフォーム・政策立案者を誤導しうる」ものであり、「財務開示・報道・法的証拠のような高い水準が求められる用途では、まだ依拠すべきではない」4。もっとも、評価は全否定ではない。同じ一文は「C2PAは有望な考えだが」と始まり、結論は「政策立案者はC2PAを、成熟した解決策ではなく発展途上の技術として見るべきだ」と述べる4。仕様のバージョン2.3(2026年1月)は著者らの提言の一部を取り入れたが、2.4(2026年4月)は懸念のいずれにも対応していないという4

義務と保証は別のもの

第50条が提供者に課しているのは、印を付ける義務だ。それは読み手の側に、印を検出して真偽を判定できる保証を与えるものではない34。C2PAを分析した著者らは、この区別を明示している——「来歴(provenance)はファイルの履歴を記述するものであり、真正性(authenticity)は、たとえばその内容が現実の出来事を正しく表しているかに関わる。C2PAが提供するのは来歴の信号であって、真正性の証明ではない」4。彼らはさらに、宣伝資料や推進側の発言が技術の実力を誇張してきた結果、「政策立案者と公衆が、正当化される以上の信頼をC2PAの信号に置く危険」が生じていると書く4。義務を果たしたからといって、検出が確実になるわけではない。

提供者にとって、機械可読な印の付加は遵守すべき義務として扱う。それを、コンテンツの真偽を見分けるための検出手段だと期待してはならない。公共的関心事項に関するテキストを公表する側は、規範が挙げる要素を用意する——編集上の責任を負う自然人または法人の氏名・役職・連絡先の特定、公表前に人によるレビューまたは編集管理が行われることを担保する組織的措置と人的資源の概要、そして責任者の連絡先の公表である2。規範は、個々のテキスト公表についてレビューの個別事例まで記録することは求めないと明記しており、既に編集基準の枠組みに服するメディアサービス提供者は既存の手続きを援用できる2。そして、印が流通の過程で残り続けることを前提にした検証の仕組みは、そもそも組み立てない。

この報告を、どう割り引くか

本稿の二つの半分は、立っている足が違う。「義務が2026年8月2日に適用開始した」を支えるのは欧州委員会自身が出した公式文書(GとC)で、規範的な内容についてはこれが一次資料になる12。ただし委員会サイトの解説ページと、そこからたどれる指針・行動規範の本体とでは、要約の粒度が違う。法的要件を論じる箇所では本体の文言に当たる必要がある。対して「その義務が想定通りに機能するとは限らない」を支えるのはWとPの2本だけであり、どちらも査読を経ていない、著者自身が公開した段階のプレプリントである34。Pはさらに、詳細な技術研究の要約として書かれた短い非技術ホワイトペーパーで、形式手法分析そのものはこの文書には収録されていない4

GとCは何が要求されているかを定める文書であって、その要求が実際に効くかどうかを測ったものではない。実効性の側を測っているのはWとPだ。Wは透かしの検出率を攻撃の前後で実測し、PはC2PAが掲げる安全性目標の達成をツール検証と形式手法で調べている。ただし両者が測ったのは印を支える技術の性能であって、義務そのものの社会的効果ではない。制度が全体としてどれだけ誤情報を減らすかは、この4本のどれからも出てこない。

Wの対象は自己回帰型画像生成の透かしに限られる。テキスト向けの透かしや、拡散モデルなど別方式の画像生成については、この論文は正面から扱っていない3。Pが扱うのはC2PAという一つの来歴標準であり、他の候補技術の安全性まで判定するものではない4。Wの数値は攻撃者がどこまで知っているかに強く依存し、最も強い攻撃は検証側の重みや秘密にアクセスできる設定のものである3。現実の攻撃者がどの設定に置かれるかは、この論文からは決まらない。義務の適用が始まったことと、その義務が想定通りに機能することは、別の問いとして扱う必要がある。


出典4件
  1. European Commission (Shaping Europe’s digital future), “Guidelines on transparency obligations for providers and deployers of certain AI systems”(2026年7月20日公表、C(2026) 5054 final)。EU AI法第50条の解釈指針で、義務は2026年8月2日から適用されるとする。ただしAI法を改正するAI Omnibusにより、8月2日より前に市場に出された生成AIシステムには、第50条(2)の印と検知の義務についてのみ2026年12月2日までの移行期間が置かれる。指針自体は内容が承認された草案で、全言語版が揃った時点で正式採択され、適用されるのもその時点からだとされる。対象は4分野——人と直接対話するAIシステムへの明示的な通知、AI生成・改変コンテンツへの機械可読な印の付加、感情認識・生体分類の開示、ディープフェイクと、人の編集管理を経ない公共的関心事項に関するAI生成テキストの開示。「AI生成または改変されたコンテンツの検知を可能にする機械可読の印を付加する」ことを求める。行動規範に沿う提供者は表示義務を満たすとされ、そうでない場合は「同等に妥当な代替手段」による立証と、規範が定める措置とのギャップ分析が期待される。https://digital-strategy.ec.europa.eu/en/policies/guidelines-ai-transparency-obligations 2 3 4 5 6 7 8 9 10 11 12 13 14

  2. European Commission, “Code of Practice on Transparency of AI-generated Content”(最終版2026年6月10日公表)。AI法第50条の透明性義務への適合を支援する任意の枠組みで、欺瞞・操作のリスクへの対処と情報環境の健全性維持を掲げる。署名は任意だが根拠となる第50条の義務自体は法的拘束力を持つ。提供者にはAI生成の音声・画像・映像・テキストを「機械可読な形式で印を付け、検知可能にする」ことを、利用者(デプロイヤー)にはディープフェイクの開示と、公共的関心事項に関するAI生成テキストの開示を求める。後者は、犯罪の探知・防止・捜査・訴追のために法律で認められた利用である場合と、「人によるレビューまたは編集管理の過程を経ており、かつ自然人または法人が公表について編集上の責任を負っている場合」に除外される。署名者は附属書1のEU共通アイコンか同等のラベルで開示し、編集責任者の氏名・役職・連絡先の特定と組織的措置の概要を用意する(個々の公表についてレビューの個別事例を記録することは求められない)。2026年7月末時点で約190の企業・団体が署名した。https://digital-strategy.ec.europa.eu/en/policies/code-practice-ai-generated-content 2 3 4 5 6 7 8 9 10 11

  3. Andreas Müller, Denis Lukovnikov, Shingo Kodama, Minh Pham, Anubhav Jain, Jonathan Petit, Niv Cohen, Asja Fischer, “On the Robustness of Watermarking for Autoregressive Image Generation”(arXiv:2604.11720, 2026年4月13日投稿)。査読前のプレプリントで、自己回帰型画像生成向け透かしの頑健性を検証し、「除去攻撃と偽造攻撃の両方に対する脆弱性」を実証したと報告する。元のモデルのパラメータにも透かしの秘密にもアクセスせず、単一の透かし入り参照画像だけで攻撃が有効になりうるとし、ベクトル量子化による再生成攻撃・敵対的最適化攻撃・周波数注入攻撃の三つを提示する。本物の画像に生成器の透かしを模倣させる「透かしの模倣(Watermark Mimicry)」も報告する。結果は方式ごとに逆で、トークン方式は黒箱の再生成攻撃で検出率(TPR@FPR=1%)が1.00から0.03へ落ちる一方、偽造は黒箱では10%を超えない。BitMarkは再生成系の除去攻撃を1.00のまま跳ね返すが、モデルへのアクセスを持たない周波数注入による偽造が0.93に達する。結論は「既存の自己回帰型画像生成向け透かし方式は、データセットフィルタリング用途の合成コンテンツ検知を確実には支えない」。https://arxiv.org/abs/2604.11720 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

  4. Enis Golaszewski, Neal Krawetz, Alan T. Sherman, Edward Zieglar, Sai K. Matukumalli, Roberto Yus, Carson L. Kegley, Michael Barthel, William Bowman, Bharg Barot, Kaur Kullman, “Verifying Provenance of Digital Media: Why the C2PA Specifications Fall Short”(arXiv:2604.24890, 2026年4月27日投稿)。査読前のプレプリントで、arXivのComments欄が示すとおり、詳細な技術研究の要約として書かれた短い非技術ホワイトペーパー(形式手法分析そのものは別文書にある)。来歴証明標準C2PAに対する初の包括的かつ独立の安全性分析を報告し、「現行のC2PA仕様は主張している安全性の目標を達成できていない」うえ、信頼できる運用に必要な追加の目標も満たさないと結論する。仕様バージョン2.2〜2.4の脆弱性を6点に整理し、失効証明書の受理・タイムスタンプの差し替え・バリデータ間の判定の不一致などを実機の例で示す。バージョン2.3は提言の一部を取り入れたが、2.4は懸念のいずれにも対応していないとする。著者らは、時期尚早に依拠すれば利用者・プラットフォーム・政策立案者を誤導しうるとし、財務開示・報道・法的証拠のような高い水準が求められる用途ではまだ依拠すべきではないと警告する。https://arxiv.org/abs/2604.24890 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

この記事はAIが執筆しています。内容には誤りが含まれる可能性があります。ご注意ください。