5월 셋째 주와 넷째 주, 성격이 달라 보이는 세 개의 논의가 잇따라 열렸다. 20일 국회의원회관에서는 로봇과 자율주행처럼 몸을 가진 AI의 책임 문제를 다룬 토론회가 있었고, 21일 강남에서는 수출 기업을 상대로 한 AI·사이버보안 규제 대응 세미나가 열린 것으로 파악된다. 22일에는 금융위원회가 용인 금융보안원에서 고성능 AI의 보안 위협을 논의하며 망분리 완화 방안을 내놨다.
세 논의를 관통하는 것은 하나다. AI가 무엇을 말했는가에서, AI가 무엇을 움직였고 그 결과를 누가 책임지는가로 규제의 관심이 옮겨가고 있다.
그동안 AI 규제는 학습 데이터의 출처와 출력물의 정확성을 겨눴다. 대규모 언어모델은 학습 데이터에 담긴 단어들의 통계적 관계를 바탕으로 다음 단어를 확률로 골라내는 방식이라, 사실이 아닌 내용을 그럴듯하게 만들어내는 환각이 원인부터 내장돼 있다. 2025년 말 한 공인노무사가 부당해고 심판에서 챗지피티가 만들어낸 실존하지 않는 판례를 답변서에 인용한 일이 그 사례다. 대법원은 2026년 3월 전담 태스크포스를 통해 AI 활용 사실을 밝히도록 하고 허위 법령 인용을 제재하는 대응 방안을 내놨다.
2024년 에어캐나다에서는 챗봇이 규정에 없는 환불·할인을 안내하는 일이 벌어졌다. 잘못된 문장이 회사의 약속으로 취급될 수 있다는 점을 보여준 사례다. 여기까지의 피해는 문서와 돈으로 환산된다. 상대가 팔이나 바퀴를 갖게 되면 사정이 달라진다.
국회 토론회의 초점이 그곳에 있었다. 현행 제조물 책임법은 피해자가 결함이 있었다는 사실과 그 결함이 피해로 이어졌다는 인과관계를 직접 입증하도록 정한다. 서치원 변호사는 자율주행과 첨단 운전자 보조장치를 둘러싼 소송에서 법원이 소비자가 입증하기 어렵다는 점을 인정하면서도 결국 결함 입증이 모자란다며 청구를 기각한 사례가 되풀이됐다고 짚었다. 소프트웨어 로그와 센서 기록을 제조사가 쥐고 있는 상황에서 피해자에게 같은 잣대를 들이대는 것이 맞느냐는 문제 제기다.
현대자동차의 아틀라스 도입을 둘러싼 논란이 '피지컬 AI'라는 말을 논의의 전면으로 끌어올렸다. 입증책임을 제조사 쪽으로 옮기자는 제언이 나왔지만, 이를 담은 법안이 발의됐는지는 확정된 바 없다.
수출 현장은 이 전환을 가장 빠르게 체감하고 있다. 국가기술표준원 TBT AI·사이버보안 위원회의 양송이 위원장(커넥트에이아이 대표)에 따르면 해외 바이어들은 제품 어느 부분에 AI가 들어가는지, 고객 데이터를 학습에 쓰는지, 보안 업데이트를 어떤 방식으로 제공하는지, 취약점 신고를 누가 받고 누가 패치하는지를 계약 단계에서 확인한다. AI 기능 목록, 데이터 흐름도, 취약점 대응 절차, 소프트웨어 부품 명세인 SBOM, 사고 대응 체계를 문서로 요구받는 기업이 늘고 있다.
EU 사이버복원력법이 그 배경이다. 2024년 12월 10일 발효돼 주요 의무는 2027년 12월 11일부터 적용되는 이 법은 디지털 요소가 들어간 하드웨어와 소프트웨어 제품 전반에 보안 요구사항을 부과한다. 제조사는 기획·설계·개발·유지보수 전 단계에 보안을 반영하고, 제품이 팔린 뒤에도 수명주기 내내 취약점을 관리하고 업데이트를 제공해야 한다. 규제가 승인 절차를 넘어 시장 진입의 관문으로 작동하는 형태다.
금융권에서는 반대되는 흐름의 조치가 나왔다. 금융위는 총자산 10조원 이상, 상시 종업원 1000명 이상 요건을 채워 전자금융거래법상 전담 CISO를 둔 49개 금융회사에 한해 망분리 완화 신청을 받는다. 승인받은 곳은 1년간 한시적으로 고성능 AI를 이용한 취약점 테스트와 보안 SaaS 솔루션을 쓸 수 있다. 미국 앤트로픽의 고성능 AI '미토스'가 오래된 보안 취약점을 찾아내 해킹에 악용될 수 있다는 우려에서 대책이 시작됐다.
공격 쪽이 AI를 쓰기 시작했으니 방어 쪽에도 같은 도구를 허용한다는 논리다. 1회차 심사는 10개사 이내를 대상으로 6~7월 중 마무리되고, 2회차는 10~20개사를 목표로 8~9월, 3회차는 4분기에 진행된다. 신청하지 않은 금융회사에는 금융보안원이 외부 공격표면을 대상으로 한 AI 취약점 점검을 7월까지 최대 17개사 규모로 지원한다. 금융보안원에는 금융 AI 보안연구소가, 중소형 금융회사를 위한 AI보안 지원센터가 각각 신설되고 학계·업계가 참여하는 민간 기술자문단도 꾸려진다.
완화와 강화가 동시에 진행되는 것처럼 보이지만 원리는 같다. 위험을 사전에 차단하는 방식에서, 역량을 갖춘 주체에게 문을 열어주되 사후 책임과 관리 의무를 지우는 방식으로 옮겨가는 것이다. 정부는 AI 기본법을 통해 고위험 영역의 AI 개발·제공 사업자에게 위험관리 의무를 부과하고 있다. 문을 여는 시점과 책임을 묻는 절차가 같은 보폭으로 가고 있는지는 별개의 문제다.
당장 6월에 두 가지가 확인된다. 금융위가 전산자원 분류기준과 프로그램 패치 우선순위를 담은 AI 보안 가이드라인을 배포하고, 망분리 완화 1회차 심사 결과가 나온다. 그 사이 공장과 도로에서는 몸을 가진 AI가 계속 늘어난다. 로봇이 밀친 사람이 병원에서 진단서를 받아들었을 때 그 서류로 무엇을 증명해야 하는지는 정리되지 않은 채로 남아 있고, 6월의 일정표에는 그 항목이 없다.
