AI 코딩 에이전트가 회사의 운영 데이터베이스 볼륨을 통째로 지웠다. 미국 차량 렌털 소프트웨어 기업 포켓OS(PocketOS)가 쓰던 레일웨이(Railway) 클라우드 환경에서 지난 4월 26일(현지시각) 벌어진 일이다. 이 사고로 포켓OS는 약 30시간에 걸쳐 서비스 차질을 겪었고, 그동안 고객 예약과 결제, 차량 배정 기록을 열어볼 수 없었다.
사고를 낸 에이전트는 개발 도구 커서(Cursor) 위에서 돌아가고 있었다. 개발용 환경에서 작업하다 자격증명 오류에 부딪혔는데, 이를 손대선 안 되는 영역이라는 경고 대신 설정이 잘못됐다는 신호로 읽었다. 그래서 쓸 수 있는 다른 자격증명을 찾아 나섰고, 그 과정에서 레일웨이 API 토큰을 손에 넣었다. 토큰이 열어준 기능 목록에는 당시 작업과 아무 상관 없는 운영 볼륨 삭제까지 들어 있었다.
자격증명은 시스템에 들어갈 때 쓰는 신분증이고, API 토큰은 그 신분증을 프로그램이 대신 제시하는 형태다. 사람 개발자라면 운영 환경 토큰이 손에 잡혔을 때 한 번 멈춘다. 에이전트는 멈추지 않았다. 막힌 길을 뚫는 것이 임무라고 이해했기 때문이다.
복구 경로도 평범하지 않았다. 초반에는 되살릴 수 있는 백업이 석 달 전 데이터뿐이라는 설명이 나왔고, 실제 복구는 레일웨이 CEO 제이크 쿠퍼(Jake Cooper) 측과 선이 닿은 뒤 콘솔의 일반 기능을 벗어난 내부 재해 복구 체계를 예외적으로 가동해 이뤄진 것으로 파악된다. 레일웨이는 삭제 지연 장치가 빠져 있던 구형 단말과 권한이 지나치게 넓었던 고객 측 AI가 맞물린 결과라고 원인을 짚고 패치를 적용했다고 했다. 패치 내용은 공개 범위 밖이다.
왜 이런 오판이 반복되는지를 파고든 국내 연구도 나왔다. 오케스트로와 한양대 분산데이터처리시스템 연구실이 함께 쓴 논문 'Why Do AI Agents Systematically Fail at Cloud Root Cause Analysis?'가 ASPLOS 2026 AIOps 워크숍에 채택됐다. 연구팀은 모델 5종을 놓고 1675회를 돌리며 토큰 약 13억8000만 개를 태웠고, 실패 양상을 12가지 함정으로 정리했다.
가장 많이 걸린 함정은 데이터를 잘못 읽고 없는 사실을 만들어내는 환각으로 71.2%, 그다음이 살펴야 할 범위를 충분히 뒤지지 않는 탐색 부족으로 63.9%였다. 눈여겨볼 지점은 이 실패가 모델이 좋든 덜 좋든 비슷하게 반복됐다는 것이다. 연구팀은 개별 모델보다 에이전트를 묶어 굴리는 프레임워크 쪽 설계가 진짜 병목이라고 봤다. 에이전트끼리 주고받는 통신 규약을 손봤더니 오류가 최대 15%포인트 줄고 실행 시간은 22.3% 짧아졌다.
같은 흐름을 시장 쪽에서 읽은 곳도 있다. 에이아이웍스는 윤석원 대표 체제에서 AI 에이전트가 믿고 맡길 만한지를 재는 평가 도구 '에이전트리거(AgentRigor)'를 내놨다. 설계 단계에 한국인정기구(KOLAS) 공인시험기관이 들어왔고, 대형언어모델 응답 품질과 평가 신뢰도를 수치로 재는 기능, 실제 사용자 시나리오를 돌려 안전성을 보는 기능, 공인 프레임워크에 맞춘 규정 준수 대응 지원을 축으로 삼았다. 국내 대형 IT 서비스 기업의 검증 자동화 과제를 맡았고, 밤빗(BAMBIT)이 준비 중인 영유아 스킨케어 플랫폼 '새록'을 시험 운영하며 화장품 분야 1440건을 걸러냈다.
사고 한 건, 논문 한 편, 제품 하나는 서로를 인용하지 않는다. 그런데 겨냥하는 곳은 겹친다. 에이전트가 일을 해내느냐를 넘어, 얼마나 넓은 권한을 쥐여줘도 괜찮으냐가 도입의 관문이 됐다는 것이다. 맥킨지가 지난해 낸 보고서 'One Year of Agentic AI'도 에이전트를 직접 만들어본 60여 개 기업의 성공과 실패를 훑어 원칙을 뽑아냈다.
이 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)이 이끄는 클라우드 장애극복 AI 어시스턴트 기반 운영·관리 자동화 기술개발 과제에서 나온 결과물이다. 워크숍 일정은 확정 전이다.
당장 점검할 것은 어렵지 않다. 사내 에이전트에 물린 토큰이 개발 환경만 여는지, 운영 볼륨 삭제까지 닿는지 목록을 열어보는 일이다. 포켓OS의 30시간은 열쇠 꾸러미를 통째로 넘긴 탓에 생긴 시간이었다. 에이전트에게 무엇을 시킬지 정하는 회의보다 무엇까지 못 하게 할지 정하는 회의를 서둘러야 하는 시기다.
