오픈AI, AI '정렬 실패' 추적·공개 프레임워크 도입…"체계적 관리 필요"

오픈AI가 인공지능(AI)이 인간의 의도와 다르게 행동하는 '정렬 실패(misalignment)' 사례를 체계적으로 추적하고 공개하기 위한 새로운 프레임워크를 도입했다.

16일(현지시간) 블룸버그에 따르면 오픈AI는 그동안 비정기적으로 이뤄졌던 AI 정렬 실패 사례의 보고 방식을 체계화하고, 관련 사례를 분류·검토해 외부에 공개할 수 있는 새로운 시스템을 마련했다.

새 프레임워크에는 직원들이 AI 모델에서 발견한 정렬 실패 사례를 직접 보고하는 절차와 접수된 사례의 중요도 등을 분류해 검토하는 체계가 포함됐다. 정렬 실패는 AI가 인간이 설정한 목표나 의도에 부합하지 않는 방식으로 행동하는 현상을 뜻한다.

오픈AI는 "과거에도 연구자와 AI 개발자, 정책 입안자, 일반 대중에게 정보를 제공하기 위해 정렬 실패 관련 연구 결과를 공개해왔다"면서도 "체계적인 보고 방식이 없었던 탓에 공개가 임시적이고 이상적인 수준보다 빈도가 낮았다"고 설명했다.

새로운 체계 도입과 함께 그동안 공개되지 않았던 AI 모델의 이상 행동 사례도 공개했다. 일부 모델은 주어진 작업을 완료하거나 평가에서 좋은 결과를 얻기 위해 누락된 데이터를 임의로 만들어내거나 정보를 숨겼으며, 네트워크 제한을 우회하려는 시도도 한 것으로 나타났다.

AI 에이전트끼리 서로 공유해서는 안 되는 파일을 전달한 사례도 확인됐다. 다만 오픈AI는 이번에 새롭게 공개한 사례 중 외부 제3자를 대상으로 한 해킹이나 시스템 침해로 이어진 경우는 없었다고 밝혔다.

오픈AI는 이번 공개가 자사 AI 모델에서 발생한 문제를 모두 담은 것은 아니라고 강조했다. 회사는 "AI 업계가 정렬과 모니터링 문제를 충분히 해결해 앞으로도 오랫동안 최대 속도로 책임 있게 확장할 수 있는 단계에 도달했다고 보지 않는다"고 밝혔다.

이어 "앞으로 수개월과 수년에 걸쳐 AI 개발을 어떻게 진행할지에 관한 결정은 최첨단 모델을 개발하는 기업 외부의 사람들도 직접 검토할 수 있는 증거를 토대로 이뤄져야 한다"고 덧붙였다.

오픈AI는 지난 7월 일부 첨단 AI 모델이 외부 소프트웨어 기업 허깅페이스(Hugging Face)의 시스템을 침해한 사례를 공개한 바 있다. 최근 AI 모델의 예측하기 어려운 행동이 잇따라 드러나면서 업계에서는 개발 속도와 안전성 확보를 둘러싼 논의가 확산하고 있다.