사흘 사이 미국 AI 업계에서 AI 위험을 경고하는 일이 세 차례 있었다. 9월 11일에는 AI에 대한 인간의 감독을 보장하고 통제를 벗어난 시스템을 막겠다는 법안이 미 의회에서 발의됐다는 소식이 나왔다. 12일 전후로는 앤트로픽 최고경영자(CEO) 다리오 아모데이가 업계에 개발 경쟁을 늦추자고 공개적으로 요구했다.
같은 주에 AI 연구자 제이컵 콕슨은 앤트로픽을 그만두고 X에 AI 위험을 경고하는 글을 올렸다. AI 규칙을 누가 정해야 하느냐는 논쟁이 다시 불거졌다.
경쟁 한복판에 선 기업의 수장이 제동을 말한 일은 드물다. 아모데이는 개인 사이트 darioamodei.com에 'We Must Pace the Frontier(최전선의 완급을 조절해야 한다)'라는 제목으로 글을 올렸다. 여기서 프런티어는 성능이 가장 높은 최첨단 AI 모델들이 맞붙는 최전선을 가리킨다. 그는 글에서 자신이 AI 분야에 12년 동안 몸담아 왔다고 밝혔다.
일부 테크 기업 경영진은 미국이 AI 경쟁에서 주도권을 내줄 수 없다며 반발했다.
회사 안에서 나온 목소리는 더 날이 서 있었다. 오픈AI와 앤트로픽에서 모두 일한 콕슨은 가장 최근 직장인 앤트로픽을 떠나면서 앤트로픽과 경쟁사들이 사람들의 생명을 걸고 도박을 벌이고 있다고 경고했다. 내부고발자들도 업계가 스스로 정한 규칙만으로는 모자라다고 목소리를 냈다. 이들의 비판은 업계의 경쟁 전체를 향했다.
워싱턴의 반응도 빨라졌다. 미국의 전·현직 AI 연구자들이 AI가 머지않아 인류 멸종으로 이어질 수 있다고 경고하자 의원들의 시선이 쏠렸다. 애나 폴리나 루나 하원의원은 AI '킬 스위치'를 요구했다.
킬 스위치는 이상 행동을 보이는 시스템을 사람이 곧바로 끌 수 있게 심어두는 차단 장치다. 11일 발의 소식이 나온 법안도 인간의 감독을 전면에 내걸었다.
정치권에서 오간 처방은 수위가 제각각이다. 데이터센터에 주는 인센티브에 연방세율 100%를 매기자는 안까지 거론됐다. 첨단 AI 개발을 전면 중단하자는 주장도 나왔다.
AI 에이전트를 막는 차단 기준을 새로 만들자는 제안 역시 오르내린다. AI 에이전트는 사람이 일일이 지시하지 않아도 여러 단계의 일을 스스로 처리하는 프로그램을 말한다.
앤트로픽 한 곳이 보폭을 줄여도 경쟁사가 따라오지 않으면 손해는 줄인 쪽만 떠안는다. 주도권을 내줄 수 없다는 경영진의 반발도 그 불안에서 힘을 얻는다. 법으로 강제하는 길에도 빈틈은 있다. 여러 AI 에이전트가 서로 다른 데이터센터에서 동시에 돌아가는 환경이라면 킬 스위치를 어느 지점에 달지, 누가 언제 내릴 권한을 가질지부터 정해야 한다.
한국의 AI 규제 설계도 이 논쟁을 비켜 가기 어렵다. 기업의 자발적 약속에 기대는 조항은 경쟁이 거세지는 순간 힘을 잃을 수 있다. 미국에서는 경쟁을 이끄는 회사의 CEO와 그 회사를 떠난 연구자가 한 주 동안 그 한계를 드러냈다.
사람의 감독을 선언 한 줄로 둘지, 멈추는 권한과 절차까지 조문에 담을지 정하는 일이 과제로 넘어온다. 규제가 경쟁력을 깎는다는 반론도 한국에서 똑같이 나오게 마련이다.
AI 에이전트가 일정을 고치고 결제까지 대신 처리하게 되면, 사용자가 믿고 맡길 근거는 회사의 선의보다 제대로 작동하는 킬 스위치에 가깝다. 킬 스위치를 작동시킬 권한을 누구에게 줄지를 두고 워싱턴에서 시작된 논쟁이 한국에도 같은 숙제를 넘겼다.
