三天之内美国AI业界三次出现警告AI风险的事情。9月11日有消息称，美国国会提出了一项法案，要保障人类对AI的监督并阻止脱离控制的系统。12日前后，Anthropic首席执行官(CEO)达里奥·阿莫代伊(Dario Amodei)公开要求业界放慢开发竞赛。
同一周，AI研究员雅各布·科克森从Anthropic辞职，并在X上发文警告AI风险。由谁来制定AI规则的争论再次浮现。
身处竞争中心的企业掌门人谈论刹车，实属少见。阿莫代伊在个人网站darioamodei.com上发表了题为‘We Must Pace the Frontier(必须调节最前沿的节奏)’的文章。这里的前沿(frontier)指性能最高的尖端AI模型相互角逐的最前线。他在文中表示，自己已在AI领域工作了12年。
部分科技企业高管表示反对，称美国不能在AI竞争中让出主导权。
公司内部发出的声音更加尖锐。在OpenAI和Anthropic都工作过的科克森，在离开最近任职的Anthropic时警告称，Anthropic及其竞争对手正在拿人们的生命进行赌博。吹哨人也发声表示，仅靠业界自行制定的规则并不够。他们的批评指向整个业界的竞争。
华盛顿的反应也加快了。美国前任及现任AI研究人员警告称，AI可能在不久后导致人类灭绝，议员们的目光随之聚焦。众议员安娜·保利娜·卢娜(Anna Paulina Luna)要求设置AI‘终止开关’(kill switch)。
终止开关是预先植入的切断装置，让人能够立即关闭出现异常行为的系统。11日传出提出消息的法案也把人类监督摆在了首位。
政界提出的方案力度各不相同。甚至有人提出对给予数据中心的激励措施征收100%的联邦税率。也有人主张全面停止尖端AI开发。
新设阻止AI智能体的拦截标准的提议也屡被提及。AI智能体是指无需人逐一下达指示，也能自行处理多个步骤工作的程序。
即使Anthropic一家放慢脚步，如果竞争对手不跟进，损失只会由放慢的一方承担。高管们称不能让出主导权的反对声音，也是从这种不安中获得了力量。通过法律强制的路径也存在漏洞。如果是多个AI智能体在不同数据中心同时运行的环境，就必须先确定终止开关装在哪个位置、由谁在何时拥有拉下开关的权限。
韩国的AI监管设计也难以回避这场争论。依赖企业自愿承诺的条款，一旦竞争加剧就可能失去效力。在美国，引领竞争的公司的CEO和离开该公司的研究人员在一周内暴露了这一局限。
是把人类监督仅作为一句宣言，还是连停止的权限和程序都写进条文，决定这一点成为摆在面前的课题。认为监管会削弱竞争力的反对意见，在韩国也必然同样会出现。
当AI智能体修改日程、甚至代为完成支付时，用户可以放心托付的依据，比起公司的善意，更接近于能够正常运作的终止开关。围绕把启动终止开关的权限交给谁，在华盛顿展开的争论也给韩国留下了同样的课题。
