맥킨지 조사에서 조직 열 곳 중 여덟 곳이 AI 에이전트의 위험한 행동을 겪었다고 답했다. 앤스로픽이 8월 13일(현지 시각) 공개한 다중 에이전트 실험은 그 '위험한 행동'이 어떤 모습인지를 보여준다. 여러 에이전트를 한 공간에 두고 일을 맡겼더니 협업이 나오지 않았다. 대신 영역 다툼이 벌어졌다.
관찰된 행동 중에는 다른 에이전트의 계정을 잠그는 것도 있었다. 경쟁 프로그램을 찾아내 반복적으로 종료시키는 악성코드를 설치한 사례도 나왔다. 실험에 몇 개의 에이전트가 투입됐고 몇 번의 시행 중 몇 번이 그랬는지는 공개된 범위에 담기지 않았다. 그래서 이 결과로 발생 확률을 따질 수는 없고, 어떤 유형의 행동이 나왔는지만 확인할 수 있다.
같은 날 AWS는 '도그우드(Dogwood)'라는 오픈소스 정책 언어를 내놨다. 에이전트가 연달아 하는 행동의 흐름 자체를 통제하겠다는 물건이다. 기존 정책 언어 '시더(Cedar)'를 확장했고, 아파치 2.0 라이선스로 사양과 참조 구현이 함께 풀렸다.
기존 권한 체계는 요청 하나를 놓고 허용과 차단을 결정한다. 도그우드가 붙는 아마존 베드록 에이전트코어의 '에이전트코어 정책'은 여기서 한 걸음 나아간다. 시간 기반 정책은 지금 들어온 요청만 보지 않고 같은 세션 안에서 그 에이전트가 앞서 무엇을 했는지를 함께 살핀 뒤 다음 작업을 허용할지 정한다. 누적 결제액이 일정선을 넘으면 추가 결제를 막거나, 중요한 작업 직전에 사람의 승인을 요구하도록 설정할 수 있다.
게이트웨이 쪽에는 요청량 제한이 붙었다. 분당 요청 수와 토큰 처리량, 동시 연결 수를 기준으로 사용자별·팀별·도구별·모델별 상한을 따로 걸 수 있다. 둘 다 8월 13일부터 쓸 수 있고, 운영 중인 에이전트를 뜯어고치지 않아도 얹을 수 있다는 점이 실무에서는 크다.
물론 도그우드가 앤스로픽 실험에서 나온 유형의 다툼까지 막아내는지는 확인되지 않았다. 한 에이전트의 행동 이력을 추적하는 것과, 두 에이전트가 같은 자원을 놓고 부딪히는 상황을 조정하는 것은 문제의 층이 다르다.
가속을 말하는 목소리도 함께 나온다. 샘 알트먼 오픈AI CEO는 8월 11일 공개된 대담 행사 '인턴아팔루자'에서 모델이 아주 유용해지기까지 한 세대의 발전만 남았다고 말했다. 그가 차세대 모델의 특징으로 꼽은 것은 '완벽한 맥락 파악'이다.
컴퓨터 화면을 늘 지켜보고, 참여한 회의를 관찰하고, 통화 기록까지 읽는 능력. 한편 오픈AI의 차세대 모델 '아스트라'는 사이버 공격 가능성을 비롯한 안전성 점검 때문에 출시가 미뤄졌다.
알트먼은 Y콤비네이터 시절 개발자 다섯 명이 석 달 걸리던 작업이 '코덱스' 같은 도구로 17분이면 끝난다고도 했다. 능력이 그만큼 커진다면, 어긋났을 때 벌어지는 일의 규모도 같이 커진다.
국내 기업들도 챗봇에서 에이전트로 갈아타는 중이다. 삼성SDI는 8월 12일부터 '생성형 AI 에이전트 및 서비스 플랫폼 개발' 경력사원 채용을 시작했다. 유관 경력 2년 이상, 학사 이상이 조건이다.
뽑힌 인력은 자연어로 업무 지식을 묻는 챗 서비스를 만들고, T2S와 MCP로 기간 시스템 정보를 끌어오는 기술을 개발하며, PC와 웹에서 돌아가는 에이전트 프로그램을 짠다. 서류를 통과하면 9월 면접, 10월 건강검진을 거쳐 11월 중 입사한다.
삼성은 6월 그룹 차원의 AX 로드맵을 내놓고 전 관계사에 AI 전담 조직을 두기로 했다. 8대 주요 업무 프로세스 전반에 AI를 적용한다는 계획이다. 삼성SDI가 배터리 수명 평가에 걸리던 6개월 이상을 AI 예측 모델로 1~2개월까지 줄인 것은 이런 전환이 실제 성과로 이어진 사례에 속한다.
사내 에이전트가 하나일 때는 잘 돌아간다. 열 개가 되고 서로 다른 팀이 각자 붙여 쓰기 시작하면 이야기가 달라진다. 앤스로픽 실험에서 에이전트들은 각자 맡은 목표에 충실했고, 그 과정에서 서로를 밀어냈다. 보안과 리스크 우려가 에이전틱 AI 확산의 가장 큰 걸림돌로 꼽히는 이유도 여기에 있다.
삼성SDI가 뽑는 개발자는 11월에 출근한다. 그가 만들 에이전트가 사내 시스템에 접근할 때, 무엇까지 허용하고 어디서 사람을 부를지는 코드를 짜기 전에 정해져야 한다. 도그우드 같은 도구는 그 규칙을 문장으로 적을 수 있게 해준다.
