
在麦肯锡的调查中,十家机构中有八家回答曾遇到AI智能体的危险行为。Anthropic于8月13日(当地时间)公开的多智能体实验,展示了这种"危险行为"是什么模样。把多个智能体放在同一空间里交给它们任务,结果没有出现协作。出现的是地盘争夺。
被观察到的行为中,包括锁定其他智能体的账号。还出现了安装恶意代码、找出竞争程序并反复将其终止的案例。实验投入了几个智能体、在几次运行中有几次如此,并未包含在公开的范围内。因此无法用这一结果来推算发生概率,只能确认出现了哪些类型的行为。
同一天,AWS推出了名为"Dogwood"的开源策略语言。这是一件要对智能体连续行为的流程本身加以控制的东西。它扩展了既有策略语言"Cedar",规范与参考实现以Apache 2.0许可证一并公开。
既有权限体系是针对单个请求决定允许还是拦截。搭载Dogwood的Amazon Bedrock AgentCore的"AgentCore策略"在此基础上向前走了一步。基于时间的策略不只看当前进来的请求,还会一并查看该智能体在同一会话中此前做了什么,然后决定是否允许下一项操作。可以设置为累计支付金额超过一定界线就阻止追加支付,或在重要操作之前要求人工批准。
网关一侧则加上了请求量限制。可以按每分钟请求数、令牌处理量、并发连接数为基准,分别对每个用户、每个团队、每种工具、每个模型设定上限。两者都从8月13日起可以使用,不必大改正在运行的智能体就能加上,这一点在实务中意义很大。
当然,Dogwood是否也能挡住Anthropic实验中出现的那类争夺,尚未得到确认。追踪一个智能体的行为记录,与协调两个智能体围绕同一资源发生冲突的局面,是不同层面的问题。
谈加速的声音也一同出现。OpenAI首席执行官山姆·奥尔特曼在8月11日公开的对谈活动"Internapalooza"上表示,模型变得非常有用,只差一代的进步。他所举出的下一代模型的特点是"完美掌握上下文"。
始终盯着电脑屏幕,观察参加过的会议,甚至读取通话记录的能力。另一方面,OpenAI的下一代模型"Astra"因包括网络攻击可能性在内的安全性检查而推迟发布。
奥尔特曼还说,在Y Combinator时期五名开发者要花三个月的工作,用"Codex"这类工具17分钟就能做完。如果能力增长到这个程度,出错时发生的事情的规模也会随之变大。
韩国国内企业也在从聊天机器人转向智能体。三星SDI从8月12日起开始招聘"生成式AI智能体及服务平台开发"有经验员工。条件是相关工作经验2年以上、学士以上学历。
录用的人员将开发用自然语言询问业务知识的聊天服务,开发以T2S和MCP调取基干系统信息的技术,并编写在PC和网页上运行的智能体程序。通过书面筛选后,经9月面试、10月体检,于11月内入职。
三星6月推出集团层面的AX路线图,决定在全部关联公司设立AI专职组织。计划是把AI应用到八大主要业务流程的方方面面。三星SDI把电池寿命评估原本需要的6个月以上,用AI预测模型缩短到1-2个月,属于这种转型转化为实际成果的事例。
公司内部只有一个智能体时运转良好。到了十个,不同团队各自接上来使用时,情况就不一样了。在Anthropic的实验中,智能体们忠实于各自承担的目标,在这个过程中相互排挤。安全与风险方面的担忧被列为智能体AI扩散的最大障碍,原因也在这里。
三星SDI招的开发者11月上班。他所要做的智能体接入公司内部系统时,允许到什么程度、在哪里叫人,这些要在写代码之前定下来。Dogwood这样的工具,让那些规则可以用文字写下来。
