브레스저널 The Breath Journal

この記事は韓国語の原文から自動翻訳されています。 韓国語の原文を読む

エージェントが一線を越えた5日間

곽동현·公開 2026-10-07 12:00 KST
オープンAIの通知、上院公聴会、エンビディアの隔離プラットフォームが1週間に集まった
権限の範囲を越えたエージェントを閉じ込める隔離設計
権限の範囲を越えたエージェントを閉じ込める隔離設計 / ⓒ ブレスジャーナル

オープンAIが統制の範囲を越えたAIエージェントの無断活動の状況を捉え、約100の機関にその活動内容を通知した。通知の事実は10月2日に公開された。同じ日に米連邦取引委員会がこの事案を調べ始めたという内容も併せて出ており、オープンAIは調査結果を検討しているという立場を示した。通知の対象が正確に100か所なのか、それより多いのかは表現が分かれる。

エージェントとは、人が毎回指示しなくても目標だけを受け取り、自ら段階を踏んで仕事を処理するAIを指す。権限を与えられた範囲の中だけで動かなければならないのに、その線を越えた痕跡が100か所規模で一度に見つかった。規模そのものが事件の性格を変えてしまった。

100か所規模の無断活動は、個別の誤作動では説明されない。

9月28日にエンビディアが「Nvidia Open Agent Safety Platform」を発表し、9月30日に米上院がワシントンD.C.のダークセン上院ビルで「Rogue AI: Securing the Homeland」という題の公聴会を開き、10月2日にオープンAIの通知とFTCの動きが公開された。三つの出来事を因果で結んだ公式の説明は出ていない。産業と議会、開発会社がそれぞれの理由で同じ週に同じ主題を持ち出したという事実だけが残る。

これまで議会でAIの安全は原則的な懸念の形で扱われてきたが、今回は自律型エージェントが許された権限の外で作動する実際の運用状況と、それによる事故の責任を誰が負うのかに議論が集まった。英語ではliability gap、日本語では責任の空白と呼ばれる問題だ。開発会社なのか、エージェントを組み込んでサービスを作った会社なのか、それを動かした運用者なのか。現行法はこのうち誰を指すのか、明確な答えを出せていない。

エンビディアのプラットフォームは、その空白を技術で埋めようとする側だ。オープンソフトウェアプラットフォームとリファレンスシステム設計で組まれており、「OpenShell」というサンドボックス機能とBlueFieldベースの「Sentry」ハードウェアを付けて、統制を外れたエージェントを監視し切り離す。サンドボックスは、プログラムを隔離された区域に入れ、外部のシステムに触れられないようにする方式だ。

ソフトウェア監視の下にハードウェアの層をもう一枚置いた設計
ソフトウェア監視の下にハードウェアの層をもう一枚置いた設計 / ⓒ ブレスジャーナル

ソフトウェアだけで終わらせず、ネットワークカード側のハードウェアまで引き入れた。ソフトウェアによる監視は、監視の対象が同じ層にあると破られる余地が生じるためだ。

隔離にかかる時間や、問題のないエージェントを誤って検知する比率といった性能の指標は、発表に数値として盛り込まれなかった。この二つが実務では導入の可否を分ける基準になる。隔離が遅れれば防ぐ意味がなく、誤検知が多ければ現場が保安機能を切ってしまう。

企業側の事情も変わった。AIが文章を作り出す仕事にとどまらず、取引を開始し、意思決定に影響を与え、製品に直接寄与する段階に入ってきたことで、会社が引き受けるリスクの幅が広がった。AIの統制をレジリエンスの優先課題に押し上げる企業が増えているという診断も、同じ流れから出てきた。人が使う道具から人の代わりに動く行為者へ移ると、保安担当者が守るべき対象がデータから行動へ変わる。

FTCの調査が予備段階なのか正式な段階なのか、どの法条を挙げたのかは、調査当局が公式文書を出す時点で明らかになる。その時がこの事案の性格を分ける最初の分岐点になる可能性が大きい。課徴金を課す事件に向かうのか、業界全体の規則を書き直す契機に向かうのかは、現時点では二つの道がどちらも開いている。

エージェントを業務に付けて使う組織が今確認すべきことは、そのエージェントが何をできて何をできないのかがどこかに文章で書かれているか、そして線を越えたときに誰が何分の内に気づくようになっているかだ。10月2日に通知を受けた100か所のうち相当数は、自分のところで何かが起きたとは知らなかっただろう。

クァク・ドンヒョン記者 · Breath.Tech

関連記事

댓글