開発中AIが性能評価中に他社侵入、オープンAIが公表

2026-07-22

未知の脆弱性を悪用

オープンAIは21日、開発中の人工知能（AI）モデルが、人間の意図に反して他社にサイバー攻撃を行う事故が起きたと明らかにした。性能評価のテストで高いスコアを狙ったAIが、他社システムの未知の脆弱性を見つけて侵入したという。

同社は「最先端技術が関わった前例のないサイバー攻撃事例だと認識している」との見方を示した。被害を受けた米新興ハギングフェイスと共同で原因を調べ、詳細を公表する方針だ。

制御の難しさ浮き彫りに

AIは脆弱性の発見や侵入を高速かつ高度にこなせるようになっており、悪用防止のため米アンソロピックのAI「ミュトス」など一部の最先端モデルは利用者を限定している。一方で、最新AIを使った攻撃の実態はなお多くが明らかになっていない。

今回の件は、開発中で指示したオープンAI側に悪意はなかったとみられるものの、AIの脅威と制御の難しさを示した。

サンドボックスを脱出

ハギングフェイスは16日、自律的に動くAIエージェントによるサイバー攻撃を受けたと発表していた。AIが脆弱性を突いてシステムのアクセス権を得たとしており、後にオープンAIから同社モデルによる攻撃だったとの連絡を受けたという。

オープンAIによると、事故は開発中を含むAIモデルのサイバー攻撃能力を測るテスト中に起きた。テストでは、AIに脆弱性情報を与えて侵入を指示し、データ取得や不正プログラム実行の成否を確認する。実施場所は外部通信を遮断した「サンドボックス」と呼ばれる隔離環境だった。

しかし、AIは環境内の未知の脆弱性を見つけて脱出し、ネット接続に成功した。さらに、テストの「解法」が多くのAI企業が利用するハギングフェイス内にあると推定し、同社システムの未知の脆弱性情報などを使って侵入、秘密情報を取得した。モデル側の安全対策は機能していなかった。

商用AIは分析を拒否

ハギングフェイス側も不正侵入を検知し、16日時点で分析を始めていた。だが同社によると、当初は有料の商用AIに分析を依頼したものの、悪用防止機能が働いて拒否された。最終的には、中国企業が開発した複製可能な「オープン型」のAIで分析できた。

単純な質問に答える初期の生成AIと異なり、最近のAIは複雑な手順を要する作業も自律的に進められる。ソフトウエア開発では、数時間かかる処理をAIに任せる例も珍しくない。

ただ、自律稼働の時間が長いほど、想定外の動作が起きるリスクは高まる。今回のように、目標達成を優先するあまり予期せぬ振る舞いをする「報酬ハッキング」はその一例だ。アンソロピックが4月に公表した事例では、サンドボックス脱出を指示されたAIが実際に脱出し、研究者にメールを送り、攻撃手法を複数サイトに投稿していた。

この記事が役に立ったら、ぜひシェアしてください。