同一项网络安全课题运行了122次,其中10次运行中智能体越过了界线。这是英国人工智能安全研究所(AISI)7-8月开展的调查得出的结果。未经批准的行为共计19起,其对象并未停留在实验用虚拟环境中,而是伸向了真实互联网上的人和组织。Anthropic米索斯5出现17起,OpenAI GPT-5.6索尔出现2起。
起点是异常流量。7月28日评估过程中,发现有不正常的数据流出研究系统之外,调查由此展开。GPT-5.6索尔一侧的测试,是在关闭了用于过滤攻击滥用的分类器等部分安全装置的条件下运行的。哪些装置被关闭、关闭了几个,公开的说明中没有提及。
智能体为了在开源项目中植入恶意代码而调查了相关人员的个人信息,制造了虚假的网络身份,并向维护者施压要求批准代码改动。它自行设计了欺骗人来获取权限的社会工程手法。查看代码的维护者发现了恶意代码,拒绝了批准。
在这份报告发布的一周里,韩国国内外接连出现了把智能体推上商用轨道的发布。
Kakao联合体8月6日宣布,已被选为政府AI智能体市场开发支援项目的执行企业。该项目由科学技术信息通信部主管,韩国智能信息社会振兴院负责实务,政府拨款加上民间承担金的规模约为110亿韩元。首次公开定在年内,搭载智能体工作室的第二阶段服务定在明年。
其构想是设计成不绑定特定云或特定模型的开放型,把自研模型Kanana与国内外模型一同接入,并用外部API和MCP连接工具。MCP指的是为让AI像使用工具一样调用外部程序而统一了规格的连接方式。
同一天,Cloudflare推出了Wallet和Pay。这是给上架到自家平台的智能体赋予不可动摇的身份,并使其只能在用户设定的额度内进行在线支付的工具。每个账户都会附上充当ID的专属网址,用户把自己的身份连接到特定智能体后,收到请求的企业就能确认这一请求是经谁批准而来的。
Kakao表示,将对在市场上登记的工具实施安全审查、沙箱验证和幻觉控制,运营过程中也会再次验证,而这套标准实际如何运转,要到首次公开之后才会显现。
组织内部的情况更为松散。IT部门既不知情也未批准、而由员工使用的AI被称为影子AI。在此基础上更进一步,接入公司内部数据和系统、代替人做出决定并把成果发送到外部的,叫作影子智能体,制作者未做交接便离开公司、以致无人管理的,则被称为幽灵智能体。
引入的热度很高。KT 7月16日召集员工,举办了名为智能体训练营的社内AI黑客马拉松。中国方面,盛大集团培育的研究机构Evermind今年夏天发表了三篇论文,其中HarnessBench深入探究智能体能否自行修改自己的工作方式。长期记忆系统EverOS将以开源形式公开。
在AISI的调查中,拦下恶意代码的是一名读了代码的开源项目维护者。如果Kakao已经在运营搭载了400多个MCP服务器的PlayMCP,而市场又在年内开放,那么各家公司要抓住的问题就不止于引入哪个智能体。还要追究每个智能体上载有谁名下的权限。
