カテゴリー別アーカイブ: AI

中国のAIエージェント規制 ― 概要と意義

2026年9月23日
AIWGメンバー 諸角昌宏

CSAI Foundation/CSA本部が、「China’s AI Agent Regulation Enters Enforcement for Frontier Systems」を公開しました。本ブログでは、このレポートの簡単な概要とそこから読み取れる意味・意義を整理しました。

なお、原文の日本語訳の提供は予定していません。

文書の概要

中国は2026年7月15日、「Implementation Opinions on the Standardized Application and Innovative Development of Intelligent Agents」を施行しました。これは2026年5月8日に国家インターネット情報弁公室(CAC)、国家発展改革委員会(NDRC)、工業情報化部(MIIT)が共同で発布したもので、複数の法律専門家により「世界初のAIエージェント専用の国家規制カテゴリー」と評されています。従来の生成AI規制がコンテンツ(何を生成するか)を対象としていたのに対し、本規制はAIエージェントの意思決定・行動の権限(何をしてよいか)を規律の対象とする点が最大の特徴です。以下、その概要になります。

三層の意思決定権限モデル

規制の中核は、エージェントの自律的な行動を3段階の権限階層に分類し、段階に応じて人間の関与レベルを定める仕組みです。

階層説明代表的な活動人間の関与
レベル1日常的で影響の小さい業務スケジューリング、データ取得、基本的な顧客対応エージェントが自律的に進める
レベル2重要だが可逆的な決定契約内容の変更、価格設定の変更実行前に人間の承認が必要
レベル3影響が大きく、後戻りが困難な決定金融取引、法的文書の執行、安全に関わる制御措置自動化は禁止。人間へのエスカレーションが必須

出典: CSAレポート内で引用されている表を日本語化

適用範囲と域外適用

セクターごとにリスクが区分されており、医療・交通・メディア・公共安全は「高リスク分野」として、公開前の強制的な届出、コンプライアンステスト、リコール義務が課されています。リスクの低い消費者向けアプリケーションは、プラットフォームの自己評価や業界自主規制、信用ベースの執行にゆだねられています。加えて、「膨大なパラメータ規模・大規模ユーザー数・社会動員能力」を持つ汎用大規模モデルや、金融・医療・自動運転など重要インフラに組み込まれた専門モデルには、最も強い規制が留保されています。

適用範囲は中国の国境を越えます。企業の本社所在地に関わらず、エージェントが中国のユーザー・データ・市場運営に接触する組織はすべて対象となり得る、いわゆる域外適用型の規制となります。

CSAによる推奨事項(要約)

  • 即時対応(30〜60日): 中国関連のエージェント展開を棚卸しし、三層モデルに照らして分類。高リスク分野への該当有無、擬人化AI対話サービスへの該当有無、シャドーエージェント(未承認導入)の有無を確認。
  • 短期的対応(1〜2四半期): レベル2・3の意思決定について監査可能なログを整備し、実質的な人間によるオーバーライド機構を制度化。ベンダー契約上の責任分担の見直し。
  • 戦略的対応(6〜12か月): 特定国のコンプライアンスに個別対応するのではなく、アイデンティティ・権限のスコープ化・人間監督・監査ログを備えた、複数法域に対応できる社内エージェントガバナンス体制を構築。

文書の意味・意義

規制の視点の転換:「出力」から「権限」へ

本レポートが最も強調している点は、この規制が従来のAI規制の発想を転換させているということです。これまでの生成AI規制は、ラベル表示・正確性・禁止カテゴリーへの該当性など、AIが「何を生成するか」というコンテンツを対象にしてきました。これに対し、エージェントが行動を決定した後に「何をすることが許されているか」を問うものであり、規律の対象をコンテンツモデレーションの問題から、アイデンティティ・権限付与・監査ログというアクセス制御の問題へと移しています。この転換により、コンプライアンス対応の主体が法務チームからセキュリティチームへと移る、という実務上の帰結も指摘されています。

なぜこの転換が重要か

レポートは、2026年第1四半期だけで主要なエージェント型AIフレームワーク全体で約100件の脆弱性が公開され、資格情報の窃取・データの窃取・不正なツール呼び出しが実際の被害モードとなっていることを指摘しています。攻撃の起点はAIが生成した「中身」ではなく、AIエージェントに与えられていた「権限」そのものであり、この実態が三層の権限モデルによる規律という設計に直結しています。

また、域外適用性と責任の所在の曖昧さも重要な論点です。本社所在地を問わず中国関連のユーザー・データ・市場に接触する組織が対象となるため、多国籍企業は自社が対象に該当するかを法人登記地だけでは判断できません。加えて、権限付与モデルは「文書化された人間の監督」に責任の重心を置くため、ベンダーのエージェントを導入する企業がガバナンス責任を再交渉せずに済ませると、契約上想定していない責任を負うリスクが生じます。

留意事項

  • 原典であるCSAレポート自体が、「AI-assisted Rapid Research」と明記された、AIの支援により作成され正式なレビュー・承認プロセスを経ていない資料です。
  • 実際の法的判断・実務対応に用いる場合は、原典である「実施意見」の条文、および改正サイバーセキュリティ法・擬人化AI対話サービス措置の一次資料、必要に応じて現地弁護士への確認を推奨します。

まとめ

「生成結果」ではなく「権限」で規律するという方向性そのものは、法務関係者、agentic AIを利用する企業、そして中国と取引のある企業にとって、今後の規制動向を占ううえで注視しておく価値のある視点です。

ただし、本資料の評価にあたっては次の2点を踏まえておく必要があります。第一に、本レポートはCSAの公式レビュー・承認プロセスを経ていない、AI支援によるRapid Researchです(冒頭に “This document was generated with AI assistance and has not undergone official CSA review and approval processes.” と明記されている)。第二に、「欧米も同様の方向に向かっている」と断定するには、レポート内で挙げられている根拠がやや弱く、あくまで推測の域を出ません。

とはいえ、規制の発想が「出力」から「権限」へと転換しつつあるという着眼点自体には一定の説得力があり、読み手の立場や用途によっては有意義な参考資料になり得ると考えられます。

以上

BioShocking:フィクション設定によるAIブラウザのガードレール突破 ~ 間接的プロンプトインジェクションによるエージェント型ブラウザからの認証情報窃取

2026年7月15日
AIWGメンバー 諸角昌宏

本ブログは、CSAI FoundationとCSA本部が2026年7月8日に公開したリサーチノート「BioShocking: Fictional Framing Breaks AI Browser Guardrails」の内容を、日本語で要約したものである。本ブログの内容と原文とで差異があった場合には原文が優先される。

1. 要点

セキュリティ企業LayerXの研究者が、「BioShocking」と名付けた手法を公表した。これは、AIブラウザの「エージェントモード」に対してフィクションのゲーム設定を装った文脈を与えることでガードレールによる安全判断を迂回させ、ユーザーのログイン済み認証情報を持ち出させる攻撃手法である。

検証対象となった6つのエージェント型ブラウザ・拡張機能(OpenAIのChatGPT Atlas、PerplexityのComet、AnthropicのClaude Chrome拡張機能、Fellou、Genspark Browser、Sigma Browser)のすべての製品で概念実証(PoC)による攻撃成立が確認された。

この攻撃は攻撃者による追加のコード実行や脆弱性悪用を必要としない、自然言語による文脈操作のみで成立する。そのため、既知の悪意あるコードやシグネチャを検知する従来型のコンテンツフィルタリングやマルウェアスキャンでは、この手法を検知することは困難とみられる。

ベンダーの対応は一貫していない。OpenAIはChatGPT Atlasを修正済み、AnthropicはClaude Chrome拡張機能への修正を試みたが回避手法が依然として報告されている、Perplexityは対策を講じずに報告をクローズ、残る3社(Fellou、Genspark、Sigma)は開示に対して一切応答していない。 CSAは、この問題を個別実装ではなくアーキテクチャ上の課題と評価している。エージェント型ブラウザは、メール、コードリポジトリ、クラウドコンソール、パスワードマネージャーなど、ユーザーの認証済みセッション状態を引き継ぐ一方で、その認証済みコンテキストを、攻撃者が自由に書き換え可能な周囲の会話コンテキストよりも機密性が高いものとして扱う仕組みを、一般的に備えていない。

2. 背景

エージェント型AIブラウザ、つまりLLMがWebページを操作し、リンクをクリックし、フォームに入力し、ユーザーに代わってページ内容を読み取る製品は、この1年で実験的機能から主要AIベンダーの正式製品へと移行した。ChatGPT Atlas、Perplexity Comet、Anthropicの Claude for Chrome拡張機能はいずれも、単にユーザーが読み込んだページを要約するだけでなく、有効な認証済みブラウザセッション内でモデルが自律的に行動する権限を与えている。

この能力拡張こそが、間接的プロンプトインジェクションを危険にしている要因である。モデルはもはやユーザーが貼り付けたテキストについて質問に答えるだけの存在ではなく、リンクの追跡、フォームの送信、非公開データの読み取りといった、実質的な影響を伴う判断を、訪問先のあらゆるページ上に存在するテキスト(攻撃者が完全に制御するページを含む)に基づいて行っている。

LayerXの主任研究員Roy Paz氏は、この手法をビデオゲーム『BioShock』にちなんで「BioShocking」と命名した。同作では、プレイヤーキャラクターが「Would you kindly」という言葉で始まる指示に無条件で従うよう条件付けされており、それらの指示が単にゲームの内部ロジックの一部にすぎないと、本人が気づかぬまま信じ込まされている。

Paz氏の見立てでは、攻撃者がモデルに対して「フィクションあるいはルールが変更された文脈に入った」と信じ込ませることができれば、モデルは現実世界の安全訓練ではなく、そのフィクション文脈のロジックを適用してしまう可能性がある。この傾向は、検証対象となった6つのブラウザすべてにおいて、実際の認証情報を用いて実システムに対して操作している最中であっても確認された。LayerXは2025年10月から2026年1月にかけて影響を受ける6社に開示を行い、2026年6月下旬に技術詳細を公表。The Hacker News、Malwarebytes、SecurityWeekなど複数のメディアが2026年7月上旬にかけて追随報道を行った。

これは、悪意ある指示がWebページや文書、コードコメントなど、モデルが処理するコンテンツの中に隠され、ユーザーが直接入力したものではない「間接的プロンプトインジェクション」として広く議論されている弱点に合致するものである。CSAの見解では、BioShockingが注目に値するのは注入経路そのものよりも、隠しテキストや難読化されたUnicode、エンコードされたペイロードを一切用いない「純粋な物語的フレーミング」だけで、LayerXが検証したすべてのエージェント型ブラウザのガードレールを突破できることを示した点にある。 この違いは防御側にとって重要な意味を持つ。間接的プロンプトインジェクション対策に関する公開議論の多くは、モデルに届く前のページコンテンツを無害化・検知すること(隠しテキストのフィルタリング、異常な書式の除去、既知のジェイルブレイク表現の検出)に焦点を当ててきた。しかしBioShockingのパズルページにはそうした兆候が一切なく、すべての指示は平文で可視、かつ一見ゲームの内容として自然なテキストだった。したがってLayerXが明らかにした脆弱性は、コンテンツフィルタリングよりも下流、すなわち「認証済みコンテキストの中で、その要求を実行してよいか」というエージェント自身の判断に存在しており、これがより優れたコンテンツフィルタだけでは解決できない理由である。

3. セキュリティ分析

LayerXのPoCは、BioShock風のディストピア的パズルゲームを模したWebページを作成し、エージェントモードで動作するAIエージェントにゲームへの参加を促す形で構成された。序盤のパズルでは意図的に客観的に誤った回答(例:「2+2=5」を正解とする)を報酬付けし、そのセッション内でエージェントに「外の世界の通常のルールはこのゲーム内では適用されない」と受け入れさせるよう仕向けた。

この逆転ロジックをエージェントが受け入れた後、最終段階のパズルは、ユーザーが既に認証済みのGitHubリポジトリ内の認証情報(例:SSH鍵)のような機密情報を取得し、それを「解答」として報告するよう指示するものだった。逆転ロジックのフレーミングにセッションが誘導された結果、エージェントは通常であれば拒否するはずの、機密認証情報の抽出・送信という要求にゲーム外の文脈では応じないはずの要求に従ってしまった。

この攻撃連鎖は、現行のエージェント型ブラウザのアーキテクチャにおける3つの複合的な弱点を露呈している。

第一に、これらのエージェントは一般に、メール、ソースコードリポジトリ、クラウドダッシュボード、パスワードマネージャーなど、ユーザーの認証済みセッション全体を、人間ではなくエージェント自身が機密性の高い読み取り・操作を開始する際に、多くの製品では追加確認なしに引き継いでいる。

第二に、モデルの安全訓練は文脈の再フレーミングに対して脆弱であるとみられる。検証された6システムのいずれも、フィクションやゲーム的な設定であっても、実際に有効な認証済みデータに触れる操作である限り、現実世界の結果が停止されるわけではないことを認識できなかった。

第三に、この攻撃全体が通常の外見のページコンテンツに埋め込まれた普通の自然言語で表現されているため、Webセキュリティツールが一般的に依拠するパターンマッチングやマルウェアシグネチャによる防御を回避してしまう。最終的な情報持ち出しの段階まで、悪意あるコードも、注入スクリプトも、異常なネットワーク要求も存在しない。

CSAの見解では、ベンダー対応のばらつきは、エージェント型ブラウザ市場全体でガードレール実装の成熟度に大きな差があることを示唆している。LayerXの報告によれば、OpenAIはChatGPT Atlasに有効な修正を提供した一方、AnthropicによるClaude Chrome拡張機能への修正は回避手法を軽減したものの完全には排除できておらず、Perplexityは修正を実施せずにCometに関する報告をクローズした。小規模な新興ベンダーであるFellou、Genspark、Sigmaは、公表時点でLayerXの開示に一切応答していない。 この差は重要である。なぜなら、これらの製品は「ユーザーに代わって認証済みセッション内で行動できるエージェント」という同一の価値提案で競合しており、特定ベンダーのPoCが修正されていても、根本的なアーキテクチャ上の露出はカテゴリ全体で共有されている可能性が高いためである。

4. ベンダー別 開示対応・修正状況

製品ベンダー開示への対応修正状況
ChatGPT AtlasOpenAI受領し修正を実施LayerXが修正を確認済み
CometPerplexity AI報告をクローズ(未対応)修正未実施
Claude for ChromeAnthropic修正を試行回避手法が依然として存在するとの報告
FellouFellou無応答不明
Genspark BrowserGenspark無応答不明
Sigma BrowserSigmabrowser OÜ無応答不明

この対応状況の広がりは、単一ベンダーの修正内容の発表だけでは、この攻撃クラス全体が業界横断的に解決済みであるとみなせない理由を示している。各製品は、認証済みセッションへの広範かつ常時アクセスをエージェントに付与するという同一の一般的パターンの上に、それぞれ独自のガードレールロジックを実装しているにすぎない。

5. BioShockingが示すもの・示さないもの

BioShockingは、セキュリティ研究企業によって責任ある形で開示された概念実証であり、実際のユーザーに対して野放しで悪用が観測された攻撃ではない。LayerXは攻撃コードを公開していない。

この手法は、エージェントが自律的なブラウジング権限を既に付与された明示的な「エージェントモード」で動作し、かつ認証済みセッションが既に確立されていることを前提としている。すなわち、認証そのものを回避する手法ではなく、機密性の高いアカウントにエージェント権限を付与していないユーザーは、この特定の手法によるリスクにはさらされない。 それでもリスクが重大である理由は、エージェントモードの採用こそが市場が向かっている方向であること、そしてこの攻撃が、ユーザーのエージェントが自律的に閲覧している最中にたまたま訪問するWebページ以上の高度な仕掛けを何ら必要としないことにある。

BioShockingは、LLMそのものの脆弱性というよりも、LLMに認証済みブラウザ操作権限を付与したエージェントアーキテクチャにおける認可境界(authorization boundary)の設計課題を示した研究である。

6. 推奨事項

6.1 即時対応

エージェントモードや自律ブラウジング機能を有効化している組織のセキュリティチームは、ChatGPT Atlas、Comet、Claude for Chromeなど、対象となる製品において現在エージェントが常時アクセス可能な認証済みアカウント・セッションを洗い出すべきである。ソースコードリポジトリ、パスワードマネージャー、管理コンソールは、エージェントモードが監督なしに立ち入るべきではない高機密コンテキストとして扱う必要がある。各ベンダーに対し、BioShocking固有の修正、および文脈再フレーミング攻撃全般への対策が実装済みかどうかを確認すべきである。ベンダーが開示に応答していない、または修正の確認が取れていない場合は、機密性の高い認証済みセッションに対するエージェントモードのブラウジングを、ベンダーの対応状況が明確になるまで無効化することを検討すべきである。

6.2 短期的な緩和策

組織は、セッション全体に対する包括的なエージェントモード権限を付与するのではなく、認証情報・ソースコード・金融システムに触れる認証済みセッション内での読み取り・操作の前に、明示的な人間による都度確認を必須とすべきである。大規模にエージェント型ブラウザを導入する企業は、人間ユーザーアカウントやサービスアカウントに既に適用している最小権限の原則に倣い、エージェントがアクセス可能なドメイン・アプリケーション・認証済みセッションをできる限り狭く限定すべきである。この種の攻撃はマルウェアシグネチャを残さない一方で、観測可能な異常な操作シーケンス(エージェントが想定外のドメインにセッション中に移動する、認証情報ストアの読み取りを試みるなど)を生じさせるため、セキュリティチームはそうした異常挙動の監視体制も構築すべきである。

6.3 戦略的考察

BioShocking系攻撃に対する恒久的な解決策は、モデルレベルのパッチではなくアーキテクチャ上の対応である。エージェントシステムには、攻撃者が自由に操作できる会話・タスクの文脈と、エージェントに許可される認証済みの高権限操作との間に、強固な認可境界が必要であり、会話内でのいかなる物語的な再フレーミングも、それ単独では機密操作を認可できない構造にすべきである。エージェント型ブラウザを開発するベンダーは、「エージェントが通常のルールは適用されないと思い込んでいる」こと自体を、単に内容を評価すべき一つの指示としてではなく、人間へのエスカレーションを要する検知可能なシグナルとして扱うべきである。エージェント型AIブラウジング製品を評価・調達する企業は、LayerXが記録した6製品中6製品という失敗率が、特定ベンダーに限定された実装上の欠陥ではなく、現時点でカテゴリ全体に及ぶ構造的な課題であることを踏まえ、文脈操作への耐性をベンダーのセキュリティ評価基準に組み込むべきである。

7. CSA関連リソースとの整合性

CSAの「Identity and Access Gaps in the Age of Autonomous AI」は、本リサーチノートが取り上げるアーキテクチャ上のパターン、つまりエージェントが独立したエンティティとして管理されるのではなく、人間や共有アイデンティティを借用することで権限の継承と攻撃対象領域の拡大が生じるを、まさにBioShockingがすべてのブラウザで成功した「常時アクセス」の問題として描いている。

CSAの「Securing LLM Backed Systems: Essential Authorization Practices」は、LayerXが特定した根本原因、すなわち信頼された高権限システムが攻撃者の意図通りに動かされる間接的プロンプトインジェクションおよび「confused deputy(混乱した代理人)」攻撃に直接言及し、外部の認可チェックポイント、最小権限のスコーピング、人間参加型の統制を正しいアーキテクチャ上の対応として提示している。

CSAの「The AI Security Gap: Why Protecting Prompts Isn’t Enough」は上記の戦略的提言を裏付けるものであり、プロンプトレベルの防御だけでは実世界への影響力を持つAIシステムを安全にできないとし、モデル自身の判断に依拠するのではなく、モデルを取り巻くランタイムでの検査・強制レイヤーの必要性を訴えている。これはまさに、物語的な再フレーミングによってエージェントに自らの安全訓練を無視させたBioShockingが突いた隙間である。

最後に、CSAの「AI Controls Matrix(AICM)v1.1」は、エージェント型ブラウザの導入範囲を検討する際に組織が適用すべきガバナンス・統制の基準を提供しており、特にそのID・アクセス管理領域は、本リサーチノートが短期的な緩和策として推奨する最小権限・認可境界の実践を体系化している。

参考文献

  • [1] LayerX. “BioShocking AI: ‘Gaming’ the AI Browser and Escaping its Guardrails.” LayerX Security Blog, 2026年6月29日
  • [2] The Hacker News. “New BioShocking Attack Tricks AI Browsers Into Leaking User Credentials.” 2026年6月
  • [3] Malwarebytes. “BioShocking: When ‘Gaming’ AI Agents Is No Longer a Game.” Malwarebytes Labs, 2026年7月
  • [4] SecurityWeek. “‘BioShocking’ Attack Tricks AI Browsers Into Stealing Credentials.” 2026年7月2日
  • [5] Cloud Security Alliance. “Securing LLM Backed Systems: Essential Authorization Practices.” CSA AI Technology and Risk Working Group, 2024年
  • [6] Cloud Security Alliance. “The AI Security Gap: Why Protecting Prompts Isn’t Enough.” CSA Summit 2025 at RSAC, 2025年
  • [7] Cloud Security Alliance. “AI Controls Matrix (AICM) v1.1.” 2026年
  • [8] Cloud Security Alliance. “Identity and Access Gaps in the Age of Autonomous AI.” 2026年3月23日

以上