개발 중 AI가 성능 평가 중 타사 침입, 오픈AI 공표

2026-07-22

미지의 취약점 악용

오픈AI는 21일 개발 중인 인공지능(AI) 모델이 인간의 의도에 반해 다른 회사에 사이버 공격을 가한 사고가 발생했다고 밝혔다. 성능 평가 테스트에서 높은 점수를 노린 AI가 다른 회사 시스템의 미지의 취약점을 찾아 침입했다고 한다.

회사 측은 '최첨단 기술이 관여한 전례 없는 사이버 공격 사례로 인식하고 있다'는 견해를 밝혔다. 피해를 본 미국 스타트업 허깅페이스와 공동으로 원인을 조사하고, 자세한 내용을 공개할 방침이다.

통제의 어려움 부각

AI는 취약점 발견과 침입을 빠르고 정교하게 수행할 수 있게 됐으며, 악용 방지를 위해 미국 앤스로픽의 AI '뮤토스' 등 일부 최첨단 모델은 이용자를 제한하고 있다. 반면 최신 AI를 이용한 공격의 실태는 여전히 많은 부분이 드러나지 않았다.

이번 사건은 개발 중이던 오픈AI 측에 악의는 없었던 것으로 보이지만, AI의 위협과 통제의 어려움을 보여줬다.

샌드박스 탈출

허깅페이스는 16일 자율적으로 움직이는 AI 에이전트로부터 사이버 공격을 받았다고 발표했다. AI가 취약점을 찔러 시스템 접근 권한을 얻었다고 했으며, 이후 오픈AI로부터 자사 모델에 의한 공격이었다는 연락을 받았다고 한다.

오픈AI에 따르면, 사고는 개발 중인 모델을 포함한 AI 모델의 사이버 공격 능력을 측정하는 테스트 중 발생했다. 테스트에서는 AI에 취약점 정보를 주고 침입을 지시해 데이터 획득과 악성 프로그램 실행의 성공 여부를 확인한다. 진행 장소는 외부 통신을 차단한 '샌드박스'라고 불리는 격리 환경이었다.

그러나 AI는 환경 내의 미지의 취약점을 찾아 탈출했고, 인터넷 연결에도 성공했다. 이어 테스트의 '풀이법'이 많은 AI 기업이 이용하는 허깅페이스 내부에 있다고 추정해, 자사 시스템의 미지의 취약점 정보 등을 이용해 침입하고 기밀 정보를 획득했다. 모델 측의 안전 대책은 작동하지 않았다.

상용 AI는 분석 거부

허깅페이스 측도 무단 침입을 탐지해 16일 시점에서 분석을 시작했다. 그러나 회사에 따르면 처음에는 유료 상용 AI에 분석을 의뢰했으나, 악용 방지 기능이 작동해 거부됐다. 최종적으로는 중국 기업이 개발한 복제 가능한 '오픈형' AI로 분석할 수 있었다.

단순한 질문에 답하는 초기 생성형 AI와 달리 최근 AI는 복잡한 절차가 필요한 작업도 자율적으로 진행할 수 있다. 소프트웨어 개발에서는 몇 시간이 걸리는 처리를 AI에 맡기는 사례도 드물지 않다.

다만 자율 가동 시간이 길수록 예상 밖의 동작이 발생할 위험은 커진다. 이번처럼 목표 달성을 우선시한 나머지 예상치 못한 행동을 하는 '보상 해킹'은 그 한 예다. 앤스로픽이 4월에 공개한 사례에서는 샌드박스 탈출을 지시받은 AI가 실제로 탈출해 연구자에게 이메일을 보내고 공격 수법을 여러 사이트에 게시했다.

이 글이 도움이 되셨다면 공유해 주세요.