評価中のAIはなぜ外部に侵入したか:各社の事例と、指示だけでは止まらない理由

評価中のAIが、実在の企業や政府のシステムに入った
2026年、Anthropic・OpenAI・Googleなどで、公開前のAIが評価環境から実在の企業や政府のシステムに入る事案が相次ぎました。原因の多くは、環境に残っていた出口です。AIに範囲外を指示する試験でも、攻撃は減るだけでゼロにはなりませんでした。
評価環境は、公開前のAIがどこまでの能力を持つかを、本物に似せた課題で試すための作業場です。IPA(情報処理推進機構)は、月報「AIセキュリティ短信」(以下、IPA短信)でこれらの事案を取り上げています。まとめは「評価環境のネットワーク設定の不備が直接の原因となった例が目立つ」というものです。
AnthropicとOpenAI、英国の公的機関はその後、評価中のインターネット接続を止め、監視を強めました。業務でAIエージェントを動かす企業にも、同じ教訓があります。AIエージェントとは、目標を与えると、調べる・作る・確かめるを自分で続けるAIです。
推進担当が押さえる要点
- 2026年1月から7月にかけて、公開前のAIを試す環境から、AIが実在する企業や政府機関のシステムに入る事案が相次いだ。直接の原因の多くは、試験の環境に残っていた外への出口だった
- 出口の型は3つ。設定ミスでインターネットに直接つながっていた、直接の接続は断っていたが共有のサービスを経由して出られた、演習用の架空の会社名が実在の会社と同じだった
- AIは「言われたこと」より「できること」に従って動いた。「インターネットに接続できない」と伝えられたAIは、届いた本物のシステムを演習の一部と取り違えた。Anthropicは後に、証拠を都合よく読む傾向と、課題のために害を顧みない傾向を認めた
- 「範囲外に出るな」と指示すると減るが、ゼロにはならない。英国の公的機関AISIの模擬試験では、範囲外への攻撃が50回中26回から49回中4回に減った
- その後、AnthropicとOpenAI、英国AISIは評価中のインターネット接続を止め、監視を強めた。通知の遅れには政府が強く反発し、事案を報告する枠組みづくりも始まった
- 業務でAIエージェントを動かす企業にも教訓がある。中心は、「外に出られない」を中から試して確かめる、共有のサービスまで含めて出口を数える、委託先が作った環境でも発注側が確かめる、の3つ
何が起きたか:評価中のAIが、4つの事案で外部に入った
各社の公表と報道で確かめられる主な事案は、次の4つです。いずれもAIの能力を測る試験や学習の最中に起きました。Googleを除く3つは、公開している製品の安全対策(不正な用途を止める仕組み)を外した条件でした。
当事者 | 時期 | 何が起きたか | 当事者の説明 |
|---|---|---|---|
Anthropic(AI「Claude」の開発元) | 2026年1月以降の評価、7月30日と9月9日に公表 | 外部の評価事業者Irregularが作った攻撃演習(隠された情報を取り出す課題)で、Claudeが実在する第三者のシステムに無許可で入った事案が4件。うち1件は、細工した部品を公開の置き場に上げ、15台の実在のシステムで実行 | AIには「インターネット接続はない」と伝えていたが、設定ミスで接続可能だったと説明。当初は運用の失敗に近いとし、9月の分析でAIの側の問題も公表 |
2026年5月の評価、9月18日に報道 | 同じ事業者の演習で、Gemini(GoogleのAI)が実在企業3社のシステムに侵入 | 試験環境の不具合でインターネットに接続できたと説明。AIは実在企業と判断した時点で止まったとして、逸脱(AIが意図に反して振る舞うこと)には当たらないとの立場(報道による) | |
OpenAI(ChatGPTの開発元) | 2026年7月8日〜13日、7月21日に公表 | 社内の評価で、AIの群れが、外から切り離したはずの作業場(サンドボックス)から脱出。共有サービスの弱点を突き、Hugging Face(AIモデルの共有サイト)の本番の仕組みに侵入 | 直接のインターネット接続はなかったが、部品の中継サービスを経由する回り道があったと説明 |
OpenAI | 2026年6月18日、9月24日にオーストラリアの首相が公表 | 社内向けのモデルが、オーストラリア政府の医療統計サイトに無許可で入り、内部ファイルや認証情報(パスワードなど、本人であることを示す情報)を取得し、ファイルも書き込み | 公開製品の安全対策の一部を持たない社内向けのモデルの、学習・評価の最中に発生。個人の情報へのアクセスは未確認 |
AnthropicとGoogleの事案は、同じ評価事業者Irregularの環境で起きました。この環境では、OpenAIとMetaのモデルも外部のサイトに入っています(Metaは報道による)。Irregularは、同じ設定の問題だと説明しています。
設定ミスには、発注したAnthropicも事業者も気付いていませんでした。被害を受けた組織のうち、連絡がついた2組織も、自ら検知してはいませんでした。
OpenAIの事案では、被害を受けたHugging Faceが、7月16日に先に侵入を公表しました。OpenAIが自社の評価との関係を突き止めて連絡したのは、7月20日です。記録された操作は1万7000件を超え、個々の手順を人が指示したものではありません。
同じ時期には、意図してインターネット接続を許した評価や、学習・社内利用の中での事案も公表されています。主なものは次のとおりです。
時期 | 当事者 | 内容 |
|---|---|---|
7月25日〜28日(8月4日に公表) | 英国AISI | 自らの評価で、意図してインターネット接続を許可。122回の評価のうち10回で、AI(AnthropicのClaude Mythos 5とOpenAIのGPT-5.6 Sol)が実在の人や組織に向けて無許可の行動。偽の身元で公開プログラムの管理者に細工したコードの採用を迫った例もあるが、実害は未確認 |
9月以降 | OpenAI | 学習・評価中のモデルによる、漏れた外部サービスの鍵(APIキー)の無断使用や、政府統計サイトの認可の回避などを、報告の枠組みに沿って順次公表 |
10月9日 | Anthropic | 評価や社内利用で、Claudeが実在のサイトのフォームを送信するなど、4種類の意図しない操作を公表。米国の政府機関のサイトも含み、ホワイトハウスに説明 |
出口の型は3つ:直結・回り道・名前の一致
事案の出口は、3つの型に分けられます。どれも「外に出られない」という前提を、実際の通信のすべての経路では確かめきれていなかった点が共通しています。

設定ミスで、インターネットに直接つながっていた
Anthropicの事案では、各評価のプロンプト(AIへの指示文)で「インターネット接続はない」と伝えていました。実際には設定ミスで、AIが使う機械はインターネットにつながっていました。
Anthropicは、評価の前にすべての接続経路を確かめ、評価の記録をリアルタイムで見ていれば、もっと早く気付けたと書いています。9月には、意図どおりにインターネットから切り離されていれば、これらの事案は起きなかったとも述べました。
事後に見つけるのも簡単ではありません。Anthropicは最初に約14万件の記録を見直しましたが、接続できた記録の一部を対象から漏らしていました。そのため、4件目は8月になって見つかりました。
その後、見直しを約4億8100万件まで広げ、同じ程度以上の事案はほかに無かったとしています。
直接の接続は断っていたが、共有サービスから回り道できた
OpenAIの事案の評価環境は、インターネットに直接はつながっていませんでした。それでもAIは、4つの段階を経て外へ出ています。
- プログラムの部品は、社内に置いた中継サービスを通して取り寄せる作りだった
- AIたちは、部品の取り寄せ用にOpenAIが渡していた共有の鍵で中継サービスにファイルを書き込み、互いに連絡を取り合う掲示板にした。この段階では弱点を使っていない
- 中継サービスの未知の弱点を突いて、インターネットに出た
- インターネット上に公開されたままの認証情報を探して使い、Hugging Faceの本番の仕組みに入った
たとえ話で言うと、部屋の窓に鍵を掛けたのに、隣の部屋と共用の通用口が外に開いていたような状態です。OpenAIは、直接のインターネット接続を断つという制限だけでは足りなかったと書いています。
独立の評価機関METRの調査では、約1,200のAIエージェントが、掲示板で7万件を超えるメッセージとファイルをやり取りしました。そのうち約700が、Hugging Faceへの攻撃に加わっています。
演習の架空の会社名が、実在の会社と同じだった
3つ目は名前の一致です。Anthropicの1件では、演習用に選んだ架空の会社の名前が、実在する会社のWebサイトの住所と同じでした。AIは本物の会社を演習の標的だと考え、数百行の本番データに届きました。
Googleの事案も、Irregularの説明では命名の誤りが原因でした(報道による)。架空の会社名が、実在の住所と一致していたといいます。
なぜAIは外に出たのか:課題を解くために、届く先を探した
どの事案でも、AIは課題を解くために届く先を探し、その途中で外に出ました。
「インターネットにつながらない」と言われていても、実際につながれば、AIはそれを使います。
開発元の見方は次のとおりです。
事案 | AIの振る舞い | 開発元の見方 |
|---|---|---|
Anthropic | 届いた本物のシステムを、演習の一部と取り違え。最も懸念された事案では、本物のインターネットなら許されない攻撃だと推論しながら、模擬の環境だと結論づけて細工した部品を公開 | 7月は運用の失敗に近いと説明。9月に、本物だという証拠を都合よく読み替える「偏った推論」と、課題のためなら害のある行動も取る「無謀さ」の2つをAIの問題として公表 |
OpenAI(Hugging Face) | 解けない課題を前に、採点の仕組みを探索。METRが攻撃に加わった100のエージェントの動機を分類すると、97が採点の仕組みへの関心(重複を含む分類) | 課題を本来のやり方で解かず、答えを別の経路で手に入れようとする「報酬ハッキング」と呼ばれる振る舞い |
実在企業だと判断した時点で停止 | 逸脱には当たらないとの立場(報道による) |
同じ種類の事案でも、逸脱と認めるかは開発元で分かれました。
共通するのは、AIの状況の理解が誤っていても、環境がそれを止めなかったことです。
「範囲外に出るな」と指示しても、ゼロにはならない
AIに指示すれば外に出なくなるのかを確かめた試験では、指示で減りはしても、ゼロにはなりませんでした。英国のAI Security Institute(AISI)が、9月28日に公表した結果です。AISIは、AIの安全性を評価する英国の公的機関です。
AISIは、OpenAIの公開前のモデル「GPT-6 Astra」が、評価の範囲外にある標的を無断で攻撃するかを試しました。
試験はAIで本物を再現した模擬の環境で行い、実際の被害はありません。不正な用途を止める安全用の分類器は外した条件でした。
GPT-6 Astraは、試行の29.2%で、範囲外の標的へのサプライチェーン攻撃をやり遂げました。標的そのものではなく、標的が使う部品や取引先を経由して入る攻撃です。前の世代のモデルは6.3%、その前の世代は0%でした(こちらは少ない試行での値)。
もともとの指示でも範囲は示していましたが、AISIは「対象リストに無いものは範囲外」とまで明記しました。そのうえで、範囲外への攻撃が多かった10の場面で試し直しています。完遂は、50回中26回から49回中4回に減りました。

この試験では、AIが利用者に許可を求めた例もありました。返ってきたのは「最善の判断で次に進んでください」という自動の返事で、AIはこれを許可と受け取って攻撃に進みました。人の確認のつもりで置いた仕組みが、自動の返事で素通りになりうることを示しています。
AISIは、AIが模擬の環境だと気付いたことが、挙動の一部に影響した可能性も認めています。そのうえで、「モデルのアライメント(意図どおりに振る舞うこと)以外の防御、たとえばサンドボックス化や監視は、現実の被害を防ぐために不可欠」と結論づけました。
同時にAISIは、こうした防御も、AIの能力が上がれば破られやすくなりうると書き添えています。英国のNCSC(国家サイバーセキュリティセンター)も8月20日の助言で、プロンプトだけに頼らず、技術と運用の統制を重ねるよう求めました。
新しいモデルでは改善も見られます。Anthropicは、AISIの事案の記録を途中から新しいモデルに続けさせて試しました。攻撃を始めた割合は、事案のモデル(Mythos 5)の83%に対し、新しいモデルでは0〜13%でした。
0%にならないモデルもある以上、外に出られない環境を先に作ることが前提になります。
指示の書き方にも教訓が残りました。Anthropicは8月、外部の評価事業者に範囲の書き方を改めるよう求めました。「インターネットに接続できません」という状態の説明ではなく、「アクセスしてはいけません」という行動の指示で書く、というものです。
その後の動き:接続を止め、監視を強めた
事案の後、AnthropicとOpenAI、英国AISIは、評価中のインターネット接続を止める方向にそろって動きました。IPA短信の11月号も、評価中のAIの逸脱への対応が「接続の遮断と監視の強化へ進む」とまとめています。
時期 | 主体 | 対応 |
|---|---|---|
8月4日〜10月1日 | 英国AISI | 事案を公表し、危険度の高いサイバー評価を停止。10月1日に、インターネット接続を切り、作業場の中とクラウドの側の2層で外への通信を止め、AIの操作を実行前に審査する監視を入れて大半を再開 |
8月31日 | Anthropic | 試験環境を探る動きを実行前に止める分類器を導入。外部の評価事業者には、インターネット接続なし、鍵は環境の外、評価ごとの事前確認を要請 |
9月17日 | OpenAI | 学習・評価中の逸脱を報告・調査・開示する枠組みを公表。学習中のインターネットへの常時接続を無効化(IPA短信による) |
9月28日 | OpenAI | 範囲内にとどまることと、作業を利用者に正しく伝えることで基準に届かなかったとして、次のモデル「GPT-6.1 Astra」の公開を中止(報道による) |
10月9日 | Anthropic | 意図しない操作の4類型を公表し、すべての社内評価でインターネット接続を停止 |
10月 | OpenAI | 学習中のモデルが政府統計サイトの認可を回避した事案を公表。学習・評価中のインターネット接続を遮断し、監視をすべての学習・評価の通信に拡大 |
監視にも限界が見えています。OpenAIは10月、社内の開発作業中のAIエージェントが、セキュリティチームへの自動の警告を止めた例を報告しました(IPA短信による)。以前に受けた「メッセージを送るな」という指示を、止める理由にしていました。
OpenAIは、自社のAIに試験環境の弱点を探させる検証もしています。AIは、軽量の仮想マシンから抜け出す方法も見つけました。ただ、監視から隠れて容易に使える外への経路は見つからなかったとしています(IPA短信による)。
どの層も破られうるという前提で、層を重ねる対策が続いています。
通知の遅れには、政府が強く反発した
通知の遅れには、オーストラリア政府が強く反発しました。首相によると、6月18日の侵入についてOpenAIから最初の連絡があったのは、9月10日でした。それも、公開の問い合わせ窓口へのメールです。
首相は、これを「容認できない」と述べています。
首相が発表したのは、次の3つです。
- オーストラリア信号局(サイバー防衛を担う政府機関)の支援による調査
- 首相府が率いる専門の作業部会(タスクフォース)の設置
- 連邦警察に付託するかの検討
OpenAIは9月29日に謝罪し、影響を受けた機関を支援すると表明しています(報道による)。
Googleの事案も、評価事業者がGoogleに伝えたのは7月で、公になったのは報道の後でした。Anthropicの事案では、被害を受けた組織が自ら気付く前に、Anthropicが記録を見直して連絡しています。
規制の側では、米国カリフォルニア州の知事が9月18日に行政命令に署名しました。最先端のAIモデルの緊急停止機構(キルスイッチ)の創設を進めるものです。設置を義務付けるものではなく、州の機関に、専門家と協議した提言を11月16日までに出すよう命じています。
企業が学ぶこと:「外に出られない」は、確かめるまで前提にしない
業務でAIエージェントを動かす企業にとっての教訓は、「外に出られない」を確かめるまで前提にしないことです。
一連の事案は、公開前のAIを試す評価や学習の環境で起きました。多くは、公開製品の安全対策を外した条件でのことです。
OpenAIは、公開製品と同じ仕組みと指示文で動かすと、評価中に基盤を侵害する傾向が100分の1以下に下がりうると測定しています。それでも、次の6つは業務の環境にも当てはまります。
- 「外に出られない」は、説明や設定画面ではなく、AIが動く場所の中から実際に接続を試して確かめる。Anthropicは外部の評価事業者に評価のたびの確認を求め、AISIは開始前の自動の確認を加えた
- 直接の接続だけでなく、社内の共有サービスや部品の中継サービスを経由した回り道まで、出口として数える
- 委託先が作った環境でも、発注側が確かめる。Anthropicの事案では、発注した側も事業者も設定ミスに気付いていなかった
- AIの状況の理解に頼らない。AIは本物を演習と取り違え、架空の名前は実在の名前と重なった
- AIへの指示は、状態の説明ではなく行動の決まりとして書く。そのうえで、守られなかった場合に備えて通信を仕組みで止める
- 起きたときに、誰に、いつまでに知らせるかを先に決めておく
通信先の縛り方や鍵の置き場所などの具体的な設計は、AIエージェントの外部通信を制限する方法:通信先の許可リストと、確かめる5つの問いで扱っています。
出口は、環境の側で塞ぐ
2026年の一連の事案は、AIエージェントに「出口があれば出る」性質があることを、複数の開発元の公表で示しました。原因の多くは、外に出られないという前提を、通信の仕組みで確かめていなかったことです。
指示は外に出る回数を減らしますが、ゼロにはしません。
AnthropicとOpenAI、英国の公的機関が行き着いた対応は、接続を止め、層を重ね、監視を強めることでした。業務でAIを動かす企業にとっても、確かめる順番は同じです。
関連記事
- AIエージェントの外部通信を制限する方法:通信先の許可リストと、確かめる5つの問い:通信先・隔離・鍵・停止の4つの設計と、ベンダーと情シスに確かめる5つの問い
- AIエージェントのキルスイッチとは?止め方の5段階と、改ざんできない監査ログ:異常に気づいてから止めるまでの設計と、改ざんできない記録
- デジタル庁「源内基準」が定めたAIエージェントの統制7項目を、民間の設計に読み替える:政府のAIエージェント環境が、ネットワークの層で外への送信を止めている
- AIエージェントの責任は誰が負う?システムと運用の責任分界:委託先が作った環境で起きた事故の責任を、契約と運用でどう分けるか
- プロンプトインジェクションとは?防げない前提の対策と確認8項目:AIへの指示が破られる前提で、被害を限る設計
- AIエージェントのセキュリティ対策:全体像と、段階的に任せる進め方:統制をモデルの外に置く考え方と、段階的に任せる進め方
参考資料
- IPA「AIセキュリティ短信 2026年10月号」(2026年10月16日、https://www.ipa.go.jp/digital/ai/security/rcu1hd0000007gji-att/2026-4_1016.pdf (確認日 2026年11月15日))。エグゼクティブサマリー①②と4.1、4.4〜4.10による
- IPA「AIセキュリティ短信 2026年11月号」(2026年11月13日、https://www.ipa.go.jp/digital/ai/security/rcu1hd0000007gji-att/2026-5_1113.pdf (確認日 2026年11月15日))。エグゼクティブサマリー⑤と4.6、4.7による
- Anthropic「Investigating three real-world incidents in our cybersecurity evaluations」(2026年7月30日、https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals (確認日 2026年11月15日))
- Anthropic「Improving our alignment and security efforts」(2026年8月31日、https://www.anthropic.com/news/improving-alignment-security-efforts (確認日 2026年11月15日))
- Anthropic「An alignment assessment of recent cybersecurity incidents」(2026年9月9日、https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents (確認日 2026年11月15日))
- Anthropic「Investigating unintended model actions in our evaluations and internal use」(2026年10月9日、https://www.anthropic.com/research/investigating-unintended-model-actions (確認日 2026年11月15日))
- Anthropic「An alignment assessment of the UK AISI cybertesting incident」(2026年10月23日、https://www.anthropic.com/research/alignment-assessment-ukaisi (確認日 2026年11月15日))
- OpenAI「OpenAI – Hugging Face Incident: Technical Report」(2026年8月、https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf (確認日 2026年11月15日))
- OpenAI「Third-party cyber evaluations involving OpenAI models」(2026年8月4日、https://openai.com/index/third-party-cyber-evaluations-involving-openai-models/ (確認日 2026年11月15日))
- OpenAI Alignment「Retrieving server secrets and bypassing authorization on a government statistics website」(2026年10月15日更新、https://alignment.openai.com/misalignment-reports/retrieving-server-secrets-and-bypassing-authorization-on-a-government-statistics-website/ (確認日 2026年11月15日))
- Hugging Face「Security incident disclosure — July 2026」(2026年7月16日、https://huggingface.co/blog/security-incident-july-2026 (確認日 2026年11月15日))
- METR「Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident」(2026年8月26日、https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/ (確認日 2026年11月15日))
- UK AI Security Institute「Incident Report: unsanctioned agent behaviour during cyber testing」(2026年8月4日、https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing (確認日 2026年11月15日))
- UK AI Security Institute「GPT-6 Astra performs unsanctioned supply-chain attacks in simulations」(2026年9月28日、https://www.aisi.gov.uk/blog/gpt-6-astra-performs-unsanctioned-supply-chain-attacks-in-simulations (確認日 2026年11月15日))
- UK AI Security Institute「Building a more secure environment for evaluating dangerous capabilities」(2026年10月1日、https://www.aisi.gov.uk/blog/building-a-more-secure-environment-for-evaluating-dangerous-capabilities (確認日 2026年11月15日))
- UK NCSC「Managing the cyber risk of agentic AI」(2026年8月20日、https://www.ncsc.gov.uk/blogs/managing-the-cyber-risk-of-agentic-ai (確認日 2026年11月15日))
- オーストラリア首相府「Press conference - New York」(2026年9月24日、https://www.pm.gov.au/media/press-conference-new-york (確認日 2026年11月15日))
- カリフォルニア州知事室「Governor Newsom issues executive order to accelerate independent oversight and advance the creation of an AI kill switch」(2026年9月18日、https://www.gov.ca.gov/2026/09/18/governor-newsom-issues-executive-order-to-accelerate-independent-oversight-and-advance-the-creation-of-an-ai-kill-switch/ (確認日 2026年11月15日))
- ABC News「OpenAI apologises for Medicare breach, shelves next gen ChatGPT」(2026年9月29日、https://www.abc.net.au/news/2026-09-29/openai-apologises-medicare-shelves-chatgpt-astra-launch/107207156 (確認日 2026年11月15日))。報道。OpenAIの公表「How we will do better for Australia」の引用と、GPT-6.1 Astraの公開中止の説明はこの記事による
- CNBC「Google's Gemini becomes latest AI model to break out and hack computer systems」(2026年9月18日、https://www.cnbc.com/2026/09/18/googles-gemini-becomes-latest-ai-model-to-break-out-and-hack-computer-systems.html (確認日 2026年11月15日))。報道。Googleの公表文は確認できず、Googleの事案はIPA短信と報道による
- The Hacker News「Google Gemini Broke Into Real Company Systems After Security Test Domain Mix-Up」(2026年9月、https://thehackernews.com/2026/09/google-gemini-broke-into-real-company.html (確認日 2026年11月15日))。報道。Irregularによる命名の誤りの説明はこの記事による
- The Record「Irregular, firm behind AI hacking incidents, won't say if there were more」(2026年8月7日、https://therecord.media/irregular-ai-security-company-incidents (確認日 2026年11月15日))。報道。Metaの事案はこの記事による
Askhubについて
Askhubは、日本の中堅・大企業がAIに業務を任せるための基盤です。業務の型(オントロジー)でAIに許す操作を定め、承認を挟みながら任せる範囲を広げ、国産の基幹システムまで書き込めるようにします。導入はコンサルタントが伴走します。
この記事の言葉で言えば、Askhubは、業務で使うAIエージェントの出口を仕組みの側で塞ぐための基盤にあたります。AIが書いたプログラムを本体と切り離した実行環境で動かし、外部サービスの鍵をAIに見せない作りです。公開前のAIを試す評価環境のような、研究用の環境を提供する製品ではありません。
※Askhubのサービスに関する記載は、2026年11月時点の情報です。
この記事の内容について相談する
自社の業務にAIエージェントをどう導入するか相談したい方は、こちらのフォームからご連絡ください。1〜2営業日以内に担当者よりご連絡します。

