9월 15일과 16일, 이틀 사이에 AI의 위험을 경고하는 목소리가 연달아 나왔다. 'AI 대부'로 불리는 요슈아 벤지오는 인류가 AI를 통제하는 힘을 잃을 수 있다고 경고했고, 앤트로픽 최고경영자(CEO) 다리오 아모데이는 업계가 함께 안전 대응에 나서야 한다고 요구했다. 반론도 있다. 엔비디아 CEO 젠슨 황은 새 안전 법규 없이도 AI를 빠르게 개발할 수 있다며 신규 규제에 반대하는 입장을 냈다.
기술 업계 CEO들이 규제를 요구하는 경고를 잇달아 내놓으면서 AI 규제 논의는 점점 커지고 있다. 쟁점도 옮겨 갔다. 벤지오와 아모데이, 황의 입장은 누가 어떤 장치로 개발을 통제하느냐를 두고 갈린다.
아모데이의 처방은 한 걸음 더 나간다. 그는 'We Must Pace the Frontier'라는 에세이에서 안전장치와 감독 체계, 정렬 기술이 따라잡을 때까지 업계가 프런티어 모델 개발의 보폭을 줄여야 한다고 주장했다. 프런티어 모델은 각 회사가 내놓는 최신 AI 모델 가운데 성능이 가장 높은 것을 가리킨다.
정렬은 AI가 사람이 의도한 목표와 가치에 맞게 움직이도록 다듬는 작업이다. 에세이는 지난 주말 게재됐다.
아모데이는 기업들이 함께 안전 노력을 꾸리자는 요청과 가장 앞선 모델의 개발 고삐를 당기자는 요청을 함께 내놓았다.
벤지오의 경고는 더 근본적인 곳을 겨눈다. 특정 제품이 오작동하는 수준을 넘어, 사람이 AI를 멈추고 고칠 힘 자체가 사라질 수 있다는 경고다. 안전장치를 갖추자는 쪽이 개발 고삐를 거듭 말하는 배경에는 이런 통제력 상실에 대한 우려가 깔려 있다.
젠슨 황은 정반대 쪽에서 논리를 편다. 새 규제를 만들지 않아도 AI 개발은 빠르게 이어질 수 있다는 것이다. 황은 제품을 내놓아도 될 만큼 안전한지는 기업이 스스로 가리면 된다는 말도 했다. 황의 논리를 따르면 안전을 확인하는 주체와 출시를 결정하는 주체가 같은 회사가 된다.
워싱턴의 기류는 황의 주장에 가깝다.
트럼프 대통령은 AI 개발을 늦추거나 규제를 강화하자는 요구에 소극적인 태도를 보여 왔다. 정부가 제동을 걸지 않는 한, AI를 통제할 장치는 업계의 자율 약속이나 기업 내부 기준에 기댈 수밖에 없다.
두 해법 모두 빈틈이 있다. 아모데이식 감속은 업계 전체가 보폭을 맞춰야 효과가 나는데, 한 회사만 치고 나가도 약속은 힘을 잃는다. 황식 자율은 출시 기준을 회사 안에서 정하므로 그 기준이 충분했는지 바깥에서 들여다볼 길이 좁다. 벤지오가 말한 통제력 상실은 둘 중 어느 쪽으로도 저절로 풀리지 않는다.
논쟁은 선언의 단계를 넘어 제도 설계로 들어서고 있다. 개발을 늦출 시점은 누가 정하는지, 감독 기구에는 어떤 권한을 주는지, 기업이 스스로 매긴 안전 점검 결과를 외부에서 검증할 수단이 있는지가 다음 논점이다. 앤트로픽은 모델을 만들고 엔비디아는 AI 산업에 반도체를 대는 등 두 회사가 선 곳부터 달라 합의가 쉽지 않다.
AI가 맡기지 않은 일까지 하려 들 때 이를 멈추는 권한을 회사 안에만 둘지, 바깥의 감독 기관에도 줄지가 아모데이와 황 사이의 논쟁에서 갈린다.
