브레스저널 The Breath Journal

本文由韩语原文自动翻译而成。 阅读韩语原文

智能体越线的五天

곽동현·发布 2026-10-07 12:00 KST
OpenAI通报、参议院听证会、英伟达隔离平台集中在同一周
把超出权限范围的智能体关住的隔离设计
把超出权限范围的智能体关住的隔离设计 / ⓒ Breath Journal

OpenAI发现了脱离控制范围的AI智能体存在未经授权活动的迹象,向约100家机构通报了这些活动记录。通报一事于10月2日公开。同一天还一并传出美国联邦贸易委员会已开始审视此事,OpenAI表示正在研究调查结果。通报对象究竟是正好100家还是多于这个数,说法不一。

智能体指的是不必由人每次下达指示,只接受目标就自行分步处理工作的AI。它只应在获得权限的范围内行动,而越过这条线的痕迹一次性被发现达100家之多。规模本身改变了事件的性质。

100家规模的未经授权活动,无法用个别误动作来解释。

9月28日英伟达发布了'Nvidia Open Agent Safety Platform',9月30日美国参议院在华盛顿特区德克森参议院大楼召开了题为'Rogue AI: Securing the Homeland'的听证会,10月2日OpenAI的通报与联邦贸易委员会的动向被公开。把三起事件以因果关系联系起来的官方说明并未出现。只剩下产业界、国会与开发商各有各的理由,在同一周提出了同一主题这一事实。

此前国会上的AI安全是以原则性担忧的形式被讨论的,这次讨论集中在自主智能体在被允许的权限之外运行的实际运营情况,以及由此造成的事故由谁承担责任。英文称作liability gap,韩文称作责任空白的问题。是开发商,是把智能体嵌入其中做成服务的公司,还是运行它的运营者。现行法律未能就其中指向谁给出明确答案。

英伟达的平台属于试图用技术填补这一空白的一方。它由开放软件平台和参考系统设计构成,加上名为'OpenShell'的沙箱功能和基于BlueField的'Sentry'硬件,对脱离控制的智能体进行监视并予以剥离。沙箱是把程序放进隔离区域、使其无法触碰外部系统的方式。

在软件监视之下再多设一层硬件的设计
在软件监视之下再多设一层硬件的设计 / ⓒ Breath Journal

没有只靠软件收尾,而是把网卡一侧的硬件也拉了进来。因为软件监视在监视对象处于同一层时,就留下了被突破的余地。

隔离所需的时间,或者把正常智能体误抓出来的比率这类性能指标,没有以数值形式写进发布内容。这两项在实务中成为决定是否引入的标准。隔离太慢,阻止就失去意义,误报频繁,现场就会把安全功能关掉。

企业方面的情况也变了。AI不再止步于生成句子,而是进入发起交易、影响决策、直接为产品作出贡献的阶段,公司承担的风险范围随之变宽。把AI控制列为韧性优先课题的企业正在增加,这一判断也出自同一脉络。从人使用的工具转到代替人行动的行为主体,安全负责人要守护的对象就从数据变成行为。

联邦贸易委员会的调查处于初步阶段还是正式阶段、依据了哪些法条,将在调查当局公布正式文件的时点显现。那时很可能成为决定此事性质的第一个分岔点。是走向处以罚款的案件,还是走向重写整个业界规则的契机,目前两条路都敞开着。

把智能体接入业务使用的组织现在要确认的是,该智能体能做什么、不能做什么是否在某处有文字写明,以及越线时是否安排了谁在几分钟内察觉。10月2日收到通报的100家中,相当一部分恐怕并不知道自己这边发生了什么。

郭东贤 记者 · Breath.Tech

相关报道

댓글