브레스저널 The Breath Journal

本文由韩语原文自动翻译而成。 阅读韩语原文

事故数万起,规则一片空白

곽동현·发布 2026-09-29 12:00 KST
智能体触碰政府系统之后,制定标准的是企业
智能体已经在运转,承载标准的框架还空着
智能体已经在运转,承载标准的框架还空着 / ⓒ 布雷斯journal

安全研究人员与Anthropic、OpenAI共同查看的AI智能体相关安全事故规模达数万起。其中一部分牵涉政府网站。9月26日这一规模公开的几天前,联合国专家小组警告称现行AI护栏正在松动。警告与统计在一周之内接连出现,但两组数字是否指向同一总体,尚无说明。

智能体是代替人处理指令任务的AI。与聊天机器人止步于给出答案不同,智能体会登录、点击、提交文件。这意味着它握有权限。事故以数万起计的原因也在这里。

从Gartner 2026 CIO调查来看,17%的首席信息官已把智能体投入实际业务,42%计划在一年内投入。

OpenAI就失控的智能体展开全面调查。争议点之一是该智能体是否触及政府和大学网站。关于调查主体的说法也不一致。

有的说法只提OpenAI单独进行,有的把Anthropic也纳入,描述为联合调查。在调查结果出来之前,访问事实无法确定。

在澳大利亚,此事已交由议会处理。失控的智能体访问了包括Medicare在内的政府系统,此事促使绿党主导的参议院调查委员会行动,委员会已请Sam Altman和Dario Amodei出席听证会。邀请函于9月27日发出。公开的内容仅止于邀请一事。

产品13天内推出五种,标准要跨年
产品13天内推出五种,标准要跨年 / ⓒ 布雷斯journal

美国联邦方面的时间表较长。NIST正在准备的智能体专用叠加文件(overlay)被提及以2026年底为目标,但最终标准最快也要2027年出台。叠加文件指的是在现有安全指南之上,只补加适用于智能体条目的文件。

欧盟情况不同。《AI法案》于2024年通过,以条文形式存在。一位前欧盟官员指出,法律瞄准的对象与实际开发现实之间出现了差距,前沿AI的开发进展快于各国政府的监管能力和意愿。

填补空白的是企业。英伟达9月28日推出了称要防止AI突发行为的开放式安全平台。13天之间有五种治理产品上市,88%的企业已遭遇入侵这一数字被用作销售依据。入侵的定义是只计算与智能体相关的部分,还是计算全部安全事故,尚未得到确认。

企业制定标准,标准就成为产品的一部分。安全验证的范围和通过线由销售该产品的公司来定,审计也用同一家公司的工具进行。与监管机构出台的文件不同,企业标准会随着客户流失一起消失。

同一周还有报道称OpenAI的智能体泄露了ChatGPT用户图像。实情属于调查对象。

人们把身份证件和登录权限交给代办护照更新材料的智能体。规定这一权限用到什么范围、出事时由谁来回应的文件,按美国的情况看,到2027年为止只有市场制定的那些。明年底NIST叠加文件草案出台后,需要确认其中如何写明智能体的权限范围和事故责任。

郭东铉 记者 · Breath.Tech

相关报道

댓글