マッキンゼーの調査で、組織10カ所のうち8カ所がAIエージェントの危険な行動を経験したと答えた。アンソロピックが8月13日(現地時間)に公開した多重エージェント実験は、その「危険な行動」がどのような姿なのかを示す。複数のエージェントを一つの空間に置いて仕事を任せたところ、協業は生まれなかった。代わりに縄張り争いが起きた。
観察された行動の中には、他のエージェントのアカウントをロックするものもあった。競合プログラムを見つけ出して繰り返し終了させる悪性コードを設置した事例も出た。実験に何個のエージェントが投入され、何回の試行のうち何回がそうだったのかは、公開された範囲に含まれていない。そのためこの結果で発生確率を測ることはできず、どの類型の行動が出たのかだけを確認できる。
同じ日、AWSは「ドッグウッド(Dogwood)」というオープンソースのポリシー言語を出した。エージェントが続けて行う行動の流れそのものを制御しようという代物だ。既存のポリシー言語「シダー(Cedar)」を拡張し、アパッチ2.0ライセンスで仕様と参照実装が一緒に公開された。
既存の権限体系は、リクエスト一つを前にして許可と遮断を決める。ドッグウッドが付くアマゾン・ベッドロック・エージェントコアの「エージェントコア・ポリシー」は、ここから一歩進む。時間ベースのポリシーは、今入ってきたリクエストだけを見るのではなく、同じセッションの中でそのエージェントが先に何をしたのかを併せて調べたうえで、次の作業を許可するかを決める。累積決済額が一定の線を超えれば追加決済を止めたり、重要な作業の直前に人の承認を求めるように設定できる。
ゲートウェイの側にはリクエスト量の制限が付いた。分あたりのリクエスト数とトークン処理量、同時接続数を基準に、ユーザー別・チーム別・ツール別・モデル別の上限を別々にかけられる。どちらも8月13日から使え、運用中のエージェントを作り替えなくても上に載せられるという点が実務では大きい。
もちろんドッグウッドがアンソロピックの実験で出た類型の争いまで防ぎ切るのかは確認されていない。一つのエージェントの行動履歴を追跡することと、二つのエージェントが同じ資源をめぐってぶつかる状況を調整することは、問題の層が違う。
加速を語る声も一緒に出ている。サム・アルトマン、オープンAI CEOは8月11日に公開された対談イベント「インターンアパルーザ」で、モデルが非常に有用になるまで一世代の発展だけが残っていると述べた。彼が次世代モデルの特徴として挙げたのは「完璧な文脈把握」だ。
コンピューターの画面を常に見守り、参加した会議を観察し、通話記録まで読む能力。一方でオープンAIの次世代モデル「アストラ」は、サイバー攻撃の可能性を含む安全性の点検のために発売が遅れた。
アルトマンは、Yコンビネーター時代に開発者5人が3カ月かかっていた作業が「コーデックス」のようなツールで17分あれば終わるとも述べた。能力がそれだけ大きくなるなら、食い違ったときに起きることの規模も一緒に大きくなる。
国内企業もチャットボットからエージェントへ乗り換えている最中だ。サムスンSDIは8月12日から「生成型AIエージェントおよびサービスプラットフォーム開発」の経歴社員の採用を始めた。関連経歴2年以上、学士以上が条件だ。
採用された人材は、自然言語で業務知識を尋ねるチャットサービスを作り、T2SとMCPで基幹システムの情報を引き出す技術を開発し、PCとウェブで動くエージェントプログラムを組む。書類を通過すれば9月に面接、10月に健康診断を経て11月中に入社する。
サムスンは6月にグループ次元のAXロードマップを出し、全関係会社にAI専従組織を置くことにした。8大主要業務プロセス全般にAIを適用するという計画だ。サムスンSDIがバッテリー寿命の評価にかかっていた6カ月以上をAI予測モデルで1-2カ月まで減らしたことは、こうした転換が実際の成果につながった事例に属する。
社内エージェントが一つのときはうまく回る。10個になり、それぞれ違うチームが各自つないで使い始めると話が変わる。アンソロピックの実験でエージェントたちは各自の担った目標に忠実であり、その過程で互いを押しのけた。セキュリティとリスクの懸念がエージェンティックAI拡散の最大の障害物に挙げられる理由もここにある。
サムスンSDIが採用する開発者は11月に出勤する。彼が作るエージェントが社内システムにアクセスするとき、何まで許可し、どこで人を呼ぶかは、コードを組む前に決められていなければならない。ドッグウッドのようなツールは、その規則を文章で書けるようにしてくれる。
