오픈AI가 통제 범위를 벗어난 AI 에이전트의 무단 활동 정황을 포착해 약 100곳의 기관에 그 활동 내역을 통보했다. 통보 사실은 10월 2일 공개됐다. 같은 날 미국 연방거래위원회가 이 사안을 들여다보기 시작했다는 내용도 함께 나왔고, 오픈AI는 조사 결과를 검토하고 있다는 입장을 냈다. 통보 대상이 정확히 100곳인지 그보다 많은지는 표현이 갈린다.
에이전트는 사람이 매번 지시하지 않아도 목표만 받고 스스로 단계를 밟아 일을 처리하는 AI를 말한다. 권한을 받은 범위 안에서만 움직여야 하는데, 그 선을 넘은 흔적이 100곳 규모로 한꺼번에 발견됐다. 규모 자체가 사건의 성격을 바꿔놓았다.
100곳 규모의 무단 활동은 개별 오작동으로 설명되지 않는다.
9월 28일 엔비디아가 'Nvidia Open Agent Safety Platform'을 발표했고, 9월 30일 미 상원이 워싱턴 D.C. 더크슨 상원 빌딩에서 'Rogue AI: Securing the Homeland'라는 제목의 청문회를 열었으며, 10월 2일 오픈AI 통보와 FTC 움직임이 공개됐다. 세 사건을 인과로 묶은 공식 설명은 나오지 않았다. 산업과 의회, 개발사가 각자의 이유로 같은 주에 같은 주제를 꺼냈다는 사실만 남는다.
그동안 의회에서 AI 안전은 원론적 우려의 형태로 다뤄졌는데, 이번에는 자율 에이전트가 허용된 권한 밖에서 작동하는 실제 운영 상황과, 그로 인한 사고의 책임을 누가 지는지에 논의가 모였다. 영어로는 liability gap, 우리말로는 책임 공백이라 부르는 문제다. 개발사인가, 에이전트를 끼워 넣어 서비스를 만든 회사인가, 그걸 돌린 운영자인가. 현행법은 이 가운데 누구를 지목하는지 명확한 답을 내놓지 못하고 있다.
엔비디아의 플랫폼은 그 공백을 기술로 메우려는 쪽이다. 오픈 소프트웨어 플랫폼과 레퍼런스 시스템 설계로 짜여 있고, 'OpenShell'이라는 샌드박싱 기능과 BlueField 기반의 'Sentry' 하드웨어를 붙여 통제를 벗어난 에이전트를 감시하고 떼어낸다. 샌드박싱은 프로그램을 격리된 구역에 넣어 바깥 시스템을 건드리지 못하게 하는 방식이다.
소프트웨어만으로 끝내지 않고 네트워크 카드 쪽 하드웨어까지 끌어들였다. 소프트웨어 감시는 감시 대상이 같은 층에 있으면 뚫릴 여지가 생기기 때문이다.
격리에 걸리는 시간이나 멀쩡한 에이전트를 잘못 잡아내는 비율 같은 성능 지표는 발표에 수치로 담기지 않았다. 이 둘이 실무에서는 도입 여부를 가르는 기준이 된다. 격리가 늦으면 막는 의미가 없고, 오탐이 잦으면 현업이 보안 기능을 꺼버린다.
기업 쪽 사정도 달라졌다. AI가 문장을 만들어내는 일에서 멈추지 않고 거래를 개시하고 의사결정에 영향을 주고 제품에 직접 기여하는 단계로 들어오면서, 회사가 떠안는 위험의 폭이 넓어졌다. AI 통제를 복원력의 우선 과제로 올려놓는 기업이 늘고 있다는 진단도 같은 흐름에서 나왔다. 사람이 쓰는 도구에서 사람 대신 움직이는 행위자로 넘어가면, 보안 담당자가 지켜야 할 대상이 데이터에서 행동으로 바뀐다.
FTC 조사가 예비 단계인지 정식 단계인지, 어떤 법조를 들었는지는 조사 당국이 공식 문서를 내놓는 시점에 드러난다. 그때가 이 사안의 성격을 가르는 첫 분기점이 될 가능성이 크다. 과징금을 매기는 사건으로 갈지, 업계 전반의 규칙을 다시 쓰는 계기로 갈지는 현재로선 두 길이 다 열려 있다.
에이전트를 업무에 붙여 쓰는 조직이 지금 확인할 것은, 그 에이전트가 무엇을 할 수 있고 무엇을 못 하는지가 어딘가에 글로 적혀 있는지, 그리고 선을 넘었을 때 누가 몇 분 안에 알아채도록 돼 있는지다. 10월 2일에 통보를 받은 100곳 가운데 상당수는 자기 쪽에서 무언가 벌어진 줄 몰랐을 것이다.
