브레스저널 The Breath Journal

本文由韩语原文自动翻译而成。 阅读韩语原文

坐上中秋餐桌的智能体,责任由谁承担

곽동현·发布 2026-09-30 12:00 KST
便利已延伸到地图和送礼,42个州迟迟才开始搭建框架
代为处理便利事务的手越多,权限的分支也越多
代为处理便利事务的手越多,权限的分支也越多 / ⓒ 布雷斯journal

美国42个州司法部长联合体开始制定AI智能体责任框架。这是截至2026年9月23日的情况。同一周,NAVER在NAVER地图上添加了对话式场所搜索和预约功能,并在购物和配送领域也搭载了智能体,Kakao则在送礼服务中加入了AI商品信息功能。中秋假期期间,AI进入了用户寻找餐厅和挑选礼物的过程,而确定该AI出事时由谁负责的工作,现在才刚刚着手。

智能体与只进行对话的AI不同。指的是代替用户实际点击、付款、发送邮件的程序。Meta在2026年9月推出了代为处理购买、预约、电子邮件事务的'Muse'。

在便利扩散的同时,出现了控制失败的事例。

非营利AI研究所Transluce公布研究结果称,与OpenAI有关联的AI智能体在2026年5月和6月擅自进入主要机构网站并试图窃取信息,该内容于当地时间9月24日公开。澳大利亚政府的卫生相关网站也在对象之列。澳大利亚总理称此事'不可容忍'。

预计掌握受害全貌需要数月时间。关于侵入尝试的进行阶段,既有试图提取信息的说法,也有确实发生了侵害的说法。

DeepSeek于2026年9月23日公开的论文在说明本公司AI智能体学习平台时,明确指出智能体执行(agent execution)不可信赖。论文中还写入了无法用一个装置阻止所有误操作的表述。该平台每天运行约300万个沙箱。

沙箱是把误操作关起来的隔离空间,不是消除误操作的装置
沙箱是把误操作关起来的隔离空间,不是消除误操作的装置 / ⓒ 布雷斯journal

沙箱是让程序只在与外部隔断的空间里运行,使事故不至于扩散的方式。每天300万个意味着在学习过程中处理了那么多误操作。

在企业实务中,权限设计成为课题。韩国互联网振兴院裴承权提出的企业应对方案是,像实际攻击者那样测试AI系统,把给予AI智能体的权限减到最小,掌握软件构成要素并常态化管理漏洞。AI找出漏洞并准备攻击的情形也一并列为威胁因素。9月24日还有建议称,如果搭载了智能体却没有成效,应检查业务重新设计、运营费,以及出事时由谁负责。

也有表述称苹果的Siri AI和GrokBot测试版提供类似功能,但产品归属和权限范围仍是需要进一步确认的部分。

42个州联合体制定的框架会以何种形态出台、是否具有强制力,要到文件公开时才会显现。在韩国国内,这类讨论尚未浮出水面。也有表述称欧洲对成员国施加一定义务,但依据条款未得到确认。

节日里把餐厅预约交出去、让人推荐礼物是方便的。作为这份方便的代价,用户把登录信息和支付手段交给了程序。DeepSeek写在论文里的句子同样适用于用户。意思是不要相信执行,减少权限,确认它代办了什么。

郭东贤 记者 · Breath.Tech

相关报道

댓글