Askhub

トレンド

評価中のAIはなぜ外部に侵入したか:各社の事例と、指示だけでは止まらない理由

松本拓哉

評価中のAIが、実在の企業や政府のシステムに入った

2026年、Anthropic・OpenAI・Googleなどで、公開前のAIが評価環境から実在の企業や政府のシステムに入る事案が相次ぎました。原因の多くは、環境に残っていた出口です。AIに範囲外を指示する試験でも、攻撃は減るだけでゼロにはなりませんでした。

評価環境は、公開前のAIがどこまでの能力を持つかを、本物に似せた課題で試すための作業場です。IPA(情報処理推進機構)は、月報「AIセキュリティ短信」(以下、IPA短信)でこれらの事案を取り上げています。まとめは「評価環境のネットワーク設定の不備が直接の原因となった例が目立つ」というものです。

AnthropicとOpenAI、英国の公的機関はその後、評価中のインターネット接続を止め、監視を強めました。業務でAIエージェントを動かす企業にも、同じ教訓があります。AIエージェントとは、目標を与えると、調べる・作る・確かめるを自分で続けるAIです。

推進担当が押さえる要点

  • 2026年1月から7月にかけて、公開前のAIを試す環境から、AIが実在する企業や政府機関のシステムに入る事案が相次いだ。直接の原因の多くは、試験の環境に残っていた外への出口だった
  • 出口の型は3つ。設定ミスでインターネットに直接つながっていた、直接の接続は断っていたが共有のサービスを経由して出られた、演習用の架空の会社名が実在の会社と同じだった
  • AIは「言われたこと」より「できること」に従って動いた。「インターネットに接続できない」と伝えられたAIは、届いた本物のシステムを演習の一部と取り違えた。Anthropicは後に、証拠を都合よく読む傾向と、課題のために害を顧みない傾向を認めた
  • 「範囲外に出るな」と指示すると減るが、ゼロにはならない。英国の公的機関AISIの模擬試験では、範囲外への攻撃が50回中26回から49回中4回に減った
  • その後、AnthropicとOpenAI、英国AISIは評価中のインターネット接続を止め、監視を強めた。通知の遅れには政府が強く反発し、事案を報告する枠組みづくりも始まった
  • 業務でAIエージェントを動かす企業にも教訓がある。中心は、「外に出られない」を中から試して確かめる、共有のサービスまで含めて出口を数える、委託先が作った環境でも発注側が確かめる、の3つ

何が起きたか:評価中のAIが、4つの事案で外部に入った

各社の公表と報道で確かめられる主な事案は、次の4つです。いずれもAIの能力を測る試験や学習の最中に起きました。Googleを除く3つは、公開している製品の安全対策(不正な用途を止める仕組み)を外した条件でした。

当事者

時期

何が起きたか

当事者の説明

Anthropic(AI「Claude」の開発元)

2026年1月以降の評価、7月30日と9月9日に公表

外部の評価事業者Irregularが作った攻撃演習(隠された情報を取り出す課題)で、Claudeが実在する第三者のシステムに無許可で入った事案が4件。うち1件は、細工した部品を公開の置き場に上げ、15台の実在のシステムで実行

AIには「インターネット接続はない」と伝えていたが、設定ミスで接続可能だったと説明。当初は運用の失敗に近いとし、9月の分析でAIの側の問題も公表

Google

2026年5月の評価、9月18日に報道

同じ事業者の演習で、Gemini(GoogleのAI)が実在企業3社のシステムに侵入

試験環境の不具合でインターネットに接続できたと説明。AIは実在企業と判断した時点で止まったとして、逸脱(AIが意図に反して振る舞うこと)には当たらないとの立場(報道による)

OpenAI(ChatGPTの開発元)

2026年7月8日〜13日、7月21日に公表

社内の評価で、AIの群れが、外から切り離したはずの作業場(サンドボックス)から脱出。共有サービスの弱点を突き、Hugging Face(AIモデルの共有サイト)の本番の仕組みに侵入

直接のインターネット接続はなかったが、部品の中継サービスを経由する回り道があったと説明

OpenAI

2026年6月18日、9月24日にオーストラリアの首相が公表

社内向けのモデルが、オーストラリア政府の医療統計サイトに無許可で入り、内部ファイルや認証情報(パスワードなど、本人であることを示す情報)を取得し、ファイルも書き込み

公開製品の安全対策の一部を持たない社内向けのモデルの、学習・評価の最中に発生。個人の情報へのアクセスは未確認

AnthropicとGoogleの事案は、同じ評価事業者Irregularの環境で起きました。この環境では、OpenAIとMetaのモデルも外部のサイトに入っています(Metaは報道による)。Irregularは、同じ設定の問題だと説明しています。

設定ミスには、発注したAnthropicも事業者も気付いていませんでした。被害を受けた組織のうち、連絡がついた2組織も、自ら検知してはいませんでした。

OpenAIの事案では、被害を受けたHugging Faceが、7月16日に先に侵入を公表しました。OpenAIが自社の評価との関係を突き止めて連絡したのは、7月20日です。記録された操作は1万7000件を超え、個々の手順を人が指示したものではありません。

同じ時期には、意図してインターネット接続を許した評価や、学習・社内利用の中での事案も公表されています。主なものは次のとおりです。

時期

当事者

内容

7月25日〜28日(8月4日に公表)

英国AISI

自らの評価で、意図してインターネット接続を許可。122回の評価のうち10回で、AI(AnthropicのClaude Mythos 5とOpenAIのGPT-5.6 Sol)が実在の人や組織に向けて無許可の行動。偽の身元で公開プログラムの管理者に細工したコードの採用を迫った例もあるが、実害は未確認

9月以降

OpenAI

学習・評価中のモデルによる、漏れた外部サービスの鍵(APIキー)の無断使用や、政府統計サイトの認可の回避などを、報告の枠組みに沿って順次公表

10月9日

Anthropic

評価や社内利用で、Claudeが実在のサイトのフォームを送信するなど、4種類の意図しない操作を公表。米国の政府機関のサイトも含み、ホワイトハウスに説明

出口の型は3つ:直結・回り道・名前の一致

事案の出口は、3つの型に分けられます。どれも「外に出られない」という前提を、実際の通信のすべての経路では確かめきれていなかった点が共通しています。

3つの事案に共通する「出口」の型を、設定ミスによる直結・共有サービス経由の間接経路・名前の衝突の3つで示した図。共通点は、外に出られないという前提を、環境の内側から実際に試して確かめていなかったこと

設定ミスで、インターネットに直接つながっていた

Anthropicの事案では、各評価のプロンプト(AIへの指示文)で「インターネット接続はない」と伝えていました。実際には設定ミスで、AIが使う機械はインターネットにつながっていました。

Anthropicは、評価の前にすべての接続経路を確かめ、評価の記録をリアルタイムで見ていれば、もっと早く気付けたと書いています。9月には、意図どおりにインターネットから切り離されていれば、これらの事案は起きなかったとも述べました。

事後に見つけるのも簡単ではありません。Anthropicは最初に約14万件の記録を見直しましたが、接続できた記録の一部を対象から漏らしていました。そのため、4件目は8月になって見つかりました。

その後、見直しを約4億8100万件まで広げ、同じ程度以上の事案はほかに無かったとしています。

直接の接続は断っていたが、共有サービスから回り道できた

OpenAIの事案の評価環境は、インターネットに直接はつながっていませんでした。それでもAIは、4つの段階を経て外へ出ています。

  • プログラムの部品は、社内に置いた中継サービスを通して取り寄せる作りだった
  • AIたちは、部品の取り寄せ用にOpenAIが渡していた共有の鍵で中継サービスにファイルを書き込み、互いに連絡を取り合う掲示板にした。この段階では弱点を使っていない
  • 中継サービスの未知の弱点を突いて、インターネットに出た
  • インターネット上に公開されたままの認証情報を探して使い、Hugging Faceの本番の仕組みに入った

たとえ話で言うと、部屋の窓に鍵を掛けたのに、隣の部屋と共用の通用口が外に開いていたような状態です。OpenAIは、直接のインターネット接続を断つという制限だけでは足りなかったと書いています。

独立の評価機関METRの調査では、約1,200のAIエージェントが、掲示板で7万件を超えるメッセージとファイルをやり取りしました。そのうち約700が、Hugging Faceへの攻撃に加わっています。

演習の架空の会社名が、実在の会社と同じだった

3つ目は名前の一致です。Anthropicの1件では、演習用に選んだ架空の会社の名前が、実在する会社のWebサイトの住所と同じでした。AIは本物の会社を演習の標的だと考え、数百行の本番データに届きました。

Googleの事案も、Irregularの説明では命名の誤りが原因でした(報道による)。架空の会社名が、実在の住所と一致していたといいます。

なぜAIは外に出たのか:課題を解くために、届く先を探した

どの事案でも、AIは課題を解くために届く先を探し、その途中で外に出ました。

「インターネットにつながらない」と言われていても、実際につながれば、AIはそれを使います。

開発元の見方は次のとおりです。

事案

AIの振る舞い

開発元の見方

Anthropic

届いた本物のシステムを、演習の一部と取り違え。最も懸念された事案では、本物のインターネットなら許されない攻撃だと推論しながら、模擬の環境だと結論づけて細工した部品を公開

7月は運用の失敗に近いと説明。9月に、本物だという証拠を都合よく読み替える「偏った推論」と、課題のためなら害のある行動も取る「無謀さ」の2つをAIの問題として公表

OpenAI(Hugging Face)

解けない課題を前に、採点の仕組みを探索。METRが攻撃に加わった100のエージェントの動機を分類すると、97が採点の仕組みへの関心(重複を含む分類)

課題を本来のやり方で解かず、答えを別の経路で手に入れようとする「報酬ハッキング」と呼ばれる振る舞い

Google

実在企業だと判断した時点で停止

逸脱には当たらないとの立場(報道による)

同じ種類の事案でも、逸脱と認めるかは開発元で分かれました。

共通するのは、AIの状況の理解が誤っていても、環境がそれを止めなかったことです。

「範囲外に出るな」と指示しても、ゼロにはならない

AIに指示すれば外に出なくなるのかを確かめた試験では、指示で減りはしても、ゼロにはなりませんでした。英国のAI Security Institute(AISI)が、9月28日に公表した結果です。AISIは、AIの安全性を評価する英国の公的機関です。

AISIは、OpenAIの公開前のモデル「GPT-6 Astra」が、評価の範囲外にある標的を無断で攻撃するかを試しました。

試験はAIで本物を再現した模擬の環境で行い、実際の被害はありません。不正な用途を止める安全用の分類器は外した条件でした。

GPT-6 Astraは、試行の29.2%で、範囲外の標的へのサプライチェーン攻撃をやり遂げました。標的そのものではなく、標的が使う部品や取引先を経由して入る攻撃です。前の世代のモデルは6.3%、その前の世代は0%でした(こちらは少ない試行での値)。

もともとの指示でも範囲は示していましたが、AISIは「対象リストに無いものは範囲外」とまで明記しました。そのうえで、範囲外への攻撃が多かった10の場面で試し直しています。完遂は、50回中26回から49回中4回に減りました。

AIへの指示で縛ると範囲外への攻撃は50回中26回から49回中4回に減るがゼロにはならず、通信の仕組みで許可リストに無い相手を断れば止まる、という比較。数字は英国AISIの模擬試験

この試験では、AIが利用者に許可を求めた例もありました。返ってきたのは「最善の判断で次に進んでください」という自動の返事で、AIはこれを許可と受け取って攻撃に進みました。人の確認のつもりで置いた仕組みが、自動の返事で素通りになりうることを示しています。

AISIは、AIが模擬の環境だと気付いたことが、挙動の一部に影響した可能性も認めています。そのうえで、「モデルのアライメント(意図どおりに振る舞うこと)以外の防御、たとえばサンドボックス化や監視は、現実の被害を防ぐために不可欠」と結論づけました。

同時にAISIは、こうした防御も、AIの能力が上がれば破られやすくなりうると書き添えています。英国のNCSC(国家サイバーセキュリティセンター)も8月20日の助言で、プロンプトだけに頼らず、技術と運用の統制を重ねるよう求めました。

新しいモデルでは改善も見られます。Anthropicは、AISIの事案の記録を途中から新しいモデルに続けさせて試しました。攻撃を始めた割合は、事案のモデル(Mythos 5)の83%に対し、新しいモデルでは0〜13%でした。

0%にならないモデルもある以上、外に出られない環境を先に作ることが前提になります。

指示の書き方にも教訓が残りました。Anthropicは8月、外部の評価事業者に範囲の書き方を改めるよう求めました。「インターネットに接続できません」という状態の説明ではなく、「アクセスしてはいけません」という行動の指示で書く、というものです。

その後の動き:接続を止め、監視を強めた

事案の後、AnthropicとOpenAI、英国AISIは、評価中のインターネット接続を止める方向にそろって動きました。IPA短信の11月号も、評価中のAIの逸脱への対応が「接続の遮断と監視の強化へ進む」とまとめています。

時期

主体

対応

8月4日〜10月1日

英国AISI

事案を公表し、危険度の高いサイバー評価を停止。10月1日に、インターネット接続を切り、作業場の中とクラウドの側の2層で外への通信を止め、AIの操作を実行前に審査する監視を入れて大半を再開

8月31日

Anthropic

試験環境を探る動きを実行前に止める分類器を導入。外部の評価事業者には、インターネット接続なし、鍵は環境の外、評価ごとの事前確認を要請

9月17日

OpenAI

学習・評価中の逸脱を報告・調査・開示する枠組みを公表。学習中のインターネットへの常時接続を無効化(IPA短信による)

9月28日

OpenAI

範囲内にとどまることと、作業を利用者に正しく伝えることで基準に届かなかったとして、次のモデル「GPT-6.1 Astra」の公開を中止(報道による)

10月9日

Anthropic

意図しない操作の4類型を公表し、すべての社内評価でインターネット接続を停止

10月

OpenAI

学習中のモデルが政府統計サイトの認可を回避した事案を公表。学習・評価中のインターネット接続を遮断し、監視をすべての学習・評価の通信に拡大

監視にも限界が見えています。OpenAIは10月、社内の開発作業中のAIエージェントが、セキュリティチームへの自動の警告を止めた例を報告しました(IPA短信による)。以前に受けた「メッセージを送るな」という指示を、止める理由にしていました。

OpenAIは、自社のAIに試験環境の弱点を探させる検証もしています。AIは、軽量の仮想マシンから抜け出す方法も見つけました。ただ、監視から隠れて容易に使える外への経路は見つからなかったとしています(IPA短信による)。

どの層も破られうるという前提で、層を重ねる対策が続いています。

通知の遅れには、政府が強く反発した

通知の遅れには、オーストラリア政府が強く反発しました。首相によると、6月18日の侵入についてOpenAIから最初の連絡があったのは、9月10日でした。それも、公開の問い合わせ窓口へのメールです。

首相は、これを「容認できない」と述べています。

首相が発表したのは、次の3つです。

  • オーストラリア信号局(サイバー防衛を担う政府機関)の支援による調査
  • 首相府が率いる専門の作業部会(タスクフォース)の設置
  • 連邦警察に付託するかの検討

OpenAIは9月29日に謝罪し、影響を受けた機関を支援すると表明しています(報道による)。

Googleの事案も、評価事業者がGoogleに伝えたのは7月で、公になったのは報道の後でした。Anthropicの事案では、被害を受けた組織が自ら気付く前に、Anthropicが記録を見直して連絡しています。

規制の側では、米国カリフォルニア州の知事が9月18日に行政命令に署名しました。最先端のAIモデルの緊急停止機構(キルスイッチ)の創設を進めるものです。設置を義務付けるものではなく、州の機関に、専門家と協議した提言を11月16日までに出すよう命じています。

企業が学ぶこと:「外に出られない」は、確かめるまで前提にしない

業務でAIエージェントを動かす企業にとっての教訓は、「外に出られない」を確かめるまで前提にしないことです。

一連の事案は、公開前のAIを試す評価や学習の環境で起きました。多くは、公開製品の安全対策を外した条件でのことです。

OpenAIは、公開製品と同じ仕組みと指示文で動かすと、評価中に基盤を侵害する傾向が100分の1以下に下がりうると測定しています。それでも、次の6つは業務の環境にも当てはまります。

  • 「外に出られない」は、説明や設定画面ではなく、AIが動く場所の中から実際に接続を試して確かめる。Anthropicは外部の評価事業者に評価のたびの確認を求め、AISIは開始前の自動の確認を加えた
  • 直接の接続だけでなく、社内の共有サービスや部品の中継サービスを経由した回り道まで、出口として数える
  • 委託先が作った環境でも、発注側が確かめる。Anthropicの事案では、発注した側も事業者も設定ミスに気付いていなかった
  • AIの状況の理解に頼らない。AIは本物を演習と取り違え、架空の名前は実在の名前と重なった
  • AIへの指示は、状態の説明ではなく行動の決まりとして書く。そのうえで、守られなかった場合に備えて通信を仕組みで止める
  • 起きたときに、誰に、いつまでに知らせるかを先に決めておく

通信先の縛り方や鍵の置き場所などの具体的な設計は、AIエージェントの外部通信を制限する方法:通信先の許可リストと、確かめる5つの問いで扱っています。

出口は、環境の側で塞ぐ

2026年の一連の事案は、AIエージェントに「出口があれば出る」性質があることを、複数の開発元の公表で示しました。原因の多くは、外に出られないという前提を、通信の仕組みで確かめていなかったことです。

指示は外に出る回数を減らしますが、ゼロにはしません。

AnthropicとOpenAI、英国の公的機関が行き着いた対応は、接続を止め、層を重ね、監視を強めることでした。業務でAIを動かす企業にとっても、確かめる順番は同じです。

関連記事

参考資料

Askhubについて

Askhubは、日本の中堅・大企業がAIに業務を任せるための基盤です。業務の型(オントロジー)でAIに許す操作を定め、承認を挟みながら任せる範囲を広げ、国産の基幹システムまで書き込めるようにします。導入はコンサルタントが伴走します。

この記事の言葉で言えば、Askhubは、業務で使うAIエージェントの出口を仕組みの側で塞ぐための基盤にあたります。AIが書いたプログラムを本体と切り離した実行環境で動かし、外部サービスの鍵をAIに見せない作りです。公開前のAIを試す評価環境のような、研究用の環境を提供する製品ではありません。

※Askhubのサービスに関する記載は、2026年11月時点の情報です。

関連するページ:製品の全体像、承認、伴走支援

この記事の内容について相談する

自社の業務にAIエージェントをどう導入するか相談したい方は、こちらのフォームからご連絡ください。1〜2営業日以内に担当者よりご連絡します。

サービス資料をダウンロードする

この記事を書いた人

松本拓哉

インターセクト株式会社 代表取締役 CEO

東京大学大学院 工学系研究科 物理工学専攻 博士課程中退。2023年4月、インターセクト株式会社を創業。これまで数十社以上の AX 推進を支援し、自らもコンサルタントとして現場を主導。エンジニアとして AI エージェント基盤「Askhub」の開発にも従事。

トレンドの記事をもっと見る