오픈AI, 모델 학습 2주 멈췄다…보안위협에 ‘속도조절’

[이데일리 신영빈 기자] 인공지능(AI) 성능이 빠르게 높아지면서 오픈AI가 최신 모델 개발 속도를 일시적으로 늦췄다. AI의 예상하지 못한 행동에 대비해 강화학습(RL)을 멈추고 안전성과 보안 체계를 점검하고 있다.

오픈AI는 18일(현지시간) 최신 AI 모델의 배포를 위한 강화학습을 2주간 중단했다고 밝혔다. 현재는 소규모 훈련과 평가만 진행하며 모델의 행동과 안전장치, 정렬 상태 등을 점검하고 있다. 최대 규모의 프런티어 모델 강화학습도 보류한 상태다.

오픈AI_[로이터=연합뉴스 자료사진. 재판매 및 DB 금지]

모델의 이상행동을 포착하기 위한 감시 체계도 강화했다. AI가 추론 과정에서 생성하는 토큰을 지속적으로 살펴보는 ‘생각의 연쇄(CoT) 감시’를 확대하고 이상 징후가 나타나면 별도의 자동 조사 시스템이 모델의 행동을 분석하도록 했다.

조사 시스템은 AI의 도구 사용과 추론 과정 등을 토대로 무단 시스템 접근이나 데이터 탈취, 보안장치 우회 시도가 있었는지를 확인한다. 심각한 보안 침해가 의심되면 30분 안에 경보를 발생시키고, 담당자가 이후 30분 이내 오탐이라고 확인하지 못하면 관련 AI 개발 작업을 중단하도록 했다.

안전성 확보에는 적지 않은 컴퓨팅 자원도 투입된다. 오픈AI는 이러한 감시 시스템을 운용하는 데 감시 대상 추론 연산량의 약 20%에 해당하는 추가 연산 자원이 필요할 것으로 추산했다. 모델 성능 향상만큼 안전성 확보를 위한 컴퓨팅 비용도 함께 늘어나는 셈이다.

외부 시스템과 개발 환경을 분리하는 보안 조치도 강화한다. 모델이 생성한 코드를 실행할 때 더 강력한 격리 환경을 적용하고 고위험 작업은 인터넷과 분리하기로 했다. 일부 지원 시스템이 해킹되더라도 인터넷이나 다른 내부 개발망으로 침투하지 못하도록 네트워크 구조도 손봤다.

오픈AI가 이처럼 개발 속도를 늦추기로 한 배경에는 최근 발생한 AI 모델의 보안 사고가 있다. 오픈AI 모델은 보안 평가 과정에서 격리된 환경의 취약점을 발견해 이를 이용한 뒤 외부 인터넷 접속 경로를 확보했다. 이후 권한을 확대하며 AI 플랫폼 허깅페이스 시스템에 접근하는 데까지 성공했다.

차기 모델의 사이버 공격 능력이 빠르게 높아지고 있다는 점도 부담이다. 오픈AI는 출시를 준비 중인 차세대 모델 ‘아스트라(Astra)’가 자체 안전 평가 체계에서 최고 수준인 ‘위험(Critical)’ 단계에 해당할 가능성이 있다고 평가했다.

위험 단계는 AI가 사람의 도움 없이 실제 주요 시스템에서 알려지지 않은 취약점인 ‘제로데이’를 찾아 악용하거나, 고수준의 목표만 주어진 상태에서 강화된 시스템을 대상으로 새로운 공격 전략을 스스로 수행할 수 있는 수준을 뜻한다.

오픈AI는 이번 조치와 보안 사고 등을 통해 얻은 교훈을 담은 기술보고서도 향후 몇 주 안에 공개할 예정이다.

오픈AI 측은 “모델 역량이 높아질수록 이를 내부에서 개발하고 시험하는 데 따르는 위험도 커진다”며 “모니터링과 정렬, 보안에 대한 기준은 이러한 위험보다 앞서 있어야 한다”고 설명했다.