10월 29일 오전 9시 17분(협정세계시), 오픈소스 패키지 vaara의 2.17.0판이 공개됐다. AI 에이전트가 외부 도구를 한 번 부를 때마다 검증할 수 있는 실행 영수증을 남기겠다는 도구다. 같은 날 AWS는 에이전트가 작업을 스스로 승인하고 위험한 행동만 사람에게 확인받는 방식을 내놓았다.
에이전트는 목표 하나를 받아 여러 단계의 일을 혼자 처리하는 AI 프로그램이다. 지금까지는 단계마다 사람이 확인을 눌러야 해서 일이 자주 멈췄는데, AWS 방식에서는 그 확인이 위험한 행동에만 남는다. 일은 빨라진다. 어떤 행동이 위험한 쪽으로 분류되는지는 AWS가 설명을 더 내놓아야 할 부분이다.
같은 주에는 금융사를 겨냥한 전방위 해킹에 AI 에이전트가 쓰였다는 사안이 불거졌고, 문제의 에이전트를 직접 실행해 본 시도까지 공개됐다.
스스로 일을 끝내는 능력은 공격자도 쓸 수 있다.
vaara는 EU AI Act(유럽연합 인공지능법) 대응을 내걸었다. 에이전트의 도구 호출은 미리 정한 정책을 통과해야 실행된다. 감사 기록에는 해시 체인을 쓴다.
기록 한 줄마다 직전 줄의 디지털 지문을 엮어 두어, 중간에 한 줄만 고쳐도 사슬이 어긋나게 만드는 방식이다. 기록된 시각은 외부에 고정해 나중에 날짜를 바꿔 쓰지 못하게 했고, MCP(에이전트가 바깥 도구를 불러 쓰는 공통 규약) 호출 1건마다 제3자가 따로 검증할 수 있는 증명을 붙인다고 밝혔다.
모두 개발자가 스스로 밝힌 기능이다. 실제 공격 상황에서 버티는지, 유럽 규제가 요구하는 수준을 채우는지는 외부 검증을 거쳐야 가려진다.
10월 31일에는 의료 AI의 신뢰를 다룬 한 칼럼이 여러 에이전트와 도구가 함께 도는 병원 환경을 짚었다. 쓸 수 있는 도구와 사람 승인을 받아야 할 사항을 정해 두고, 책임 소재와 기록을 확보할 기반을 갖추자는 논의였다.
한 주 사이 클라우드와 금융, 의료에서 에이전트 관련 소식이 잇따랐다. 에이전트가 얼마나 똑똑한가 못지않게, 언제 멈춰서 사람을 부르는지와 그 순간을 지울 수 없게 남기는지가 도입 여부를 가를 공산이 크다. 성능표에는 잘 드러나지 않는 항목이다.
머지않아 재무 담당자의 받은편지함에는 결재 요청보다 에이전트가 끝낸 일의 영수증이 더 많이 쌓이게 된다. 확인 표시가 붙어 올라오는 건 그중 몇 건이다. 담당자는 승인 버튼을 누르며 보내던 하루를 영수증을 골라 읽으며 보내게 된다.
