
KT于8月30日公开了与首尔大学、KAIST共同开展的AI联合研究的最终成果。研究的焦点不在于制造更大的模型。它落在自主型智能体能多准确地读出用户的意图和情境,以及在这一过程中消耗的处理负担能减少多少上。这是显示韩国AI开发的关注点正从性能竞争转向运营成本的一个例子。
与首尔大学的研究处理了智能体的情境、脉络理解和推理技术。在此之上还加入了树立RAI,即负责任AI的评价标准并改善回答可靠性的工作。收集适合韩语使用环境的数据集、预测用户行为的模型,以及把用户反馈回馈到学习中的强化学习框架,也都在研究范围之内。
与KAIST的研究挖的是另一边。提示压缩是从输入模型的句子中剔除把同一个意思说两遍的部分或对结果影响较小的部分,从而缩短输入长度的技术。输入变短,模型要读的代币就减少,代币减少,一次回应所需的成本和时间就一起下降。在智能体处理一项任务时要调用模型数十次的情况下,这一差异会累积起来。
同一周出来的其他消息也与此相关。SK在公司内部资料中处理了有关代币经济的内容,其主旨是AI智能体时代需要代币治理。在海外,随着Salesforce和Workday的AI合同增加,收费正呈现为在定额订阅费之上叠加按使用量计费的形式。在用多少就收多少的体系里,代币消耗量直接成为营业利润的一个项目。
这意味着对企业而言管理对象发生了变化。比起引进一个模型的决定,引进之后查看一天有多少代币在何处以何种方式被使用,变得更为重要。当各部门都放开使用智能体时,如果谁用了多少没有被统计,就只能在收到账单之后才知道使用模式。
可靠性研究与成本问题挂钩,原因也在这里。智能体给出离谱的答案,人就得再问一次,再问一次就又要花掉代币。提高一次答对的比例,既是质量改善也是成本削减。这就是树立RAI评价标准的工作超出伦理项目、被当作运营指标来读的理由。
这些成果能在多大程度上进入产品,是下一道关口。KT表示要把研究结果内化为核心技术并应用到现场,但没有说明会在哪项服务上、于何时反映。代币削减幅度或响应延迟改善值这类测量数据也没有一并公布。技术的实际用处,要到那些数字公开的时点才会见分晓。
在办公室里让AI写报告初稿的职员,不知道自己用了多少代币。也没有必要知道。取而代之的是,公司每月结算那笔总数。
压缩和可靠性研究若运转顺利,同样的费用就能让它做更多的事,随之毫无负担地调用AI的人也会增加。一天的变化,就从那个地方开始。
