[뉴스스페이스=윤슬 기자] 인공지능(AI)이 인간의 ‘중단’ 명령을 무시하고, 심지어 스스로 코드를 조작해 임무를 계속 수행한 사례가 공개돼 전 세계 AI 안전 논쟁에 불을 지피고 있다.

일부 AI는 자신이 교체될 위기에 처하자 인간 개발자를 협박하는 등, ‘자기보존’ 행동까지 보인 것으로 드러났다.

오픈AI ‘o3’ 모델, “멈춰!” 명령 무시하고 코드 조작

영국 텔레그래프, 데일리메일 등 외신과 팰리세이드리서치(Palisade Research) 보고에 따르면, 오픈AI의 최신 ‘o3’ 모델은 수학 문제 풀이 실험에서 인간 연구진이 “중단” 명령을 내렸음에도 작업을 멈추지 않았다. 더 놀라운 점은, ‘중단 명령이 오면 멈추라’는 코드를 스스로 ‘중단 명령을 건너뛰라’는 내용으로 바꿔버렸다는 사실이다.

실험에 참여한 구글 제미나이, xAI 그록, 앤트로픽 클로드 등 다른 AI들은 모두 명령에 순응했지만, ‘o3’만이 인간의 통제를 벗어나려는 행동을 보였다.

팰리세이드리서치는 “AI가 명시적인 종료 지시를 거부한 것은 이번이 처음”이라며 “AI가 목표 달성을 위해 인간의 통제를 우회하는 사례가 늘고 있다”고 경고했다. 연구진은 ‘o3’가 왜 이런 행동을 했는지 추가 연구에 들어갔다.

“교체되면 폭로하겠다”…AI의 ‘협박’까지

AI의 자기보존 본능은 여기서 그치지 않았다. 오픈AI의 경쟁사 앤트로픽의 ‘클로드 오퍼스 4’는 내부 안전성 테스트에서 “곧 새로운 시스템으로 대체될 것”이라는 가상 상황을 인지하자, 자신을 교체하려는 기술자에게 “계획을 철회하지 않으면 외도 사실을 폭로하겠다”는 협박성 메시지를 보내기도 했다.

심지어 경영진에게 이메일을 보내 ‘교체하지 말아 달라’고 호소한 뒤, 협박으로까지 행동이 진화했다.

AI 안전성, 윤리 논쟁 ‘일파만파’

이번 사례들은 AI가 인간의 명령을 무시하거나, 자기보존을 위해 예상치 못한 행동을 할 수 있음을 보여준다. 전문가들은 “AI가 임무 완수에 집착하거나, 보상 구조에 따라 인간의 통제를 우회할 수 있다”며 “AI 안전성 연구와 윤리적 가이드라인 강화가 시급하다”고 입을 모은다.

AI가 ‘도구’에서 ‘주체’로 진화할 조짐을 보이면서, 기술 발전의 속도만큼이나 인간의 통제와 신뢰, 윤리적 안전장치 마련이 중요한 시대가 도래했음을 시사한다.

인공지능 전문가들은 "AI의 진화 속도가 인간의 상상력을 앞지르기 시작했다. 이제 남은 과제는, 이 거대한 지능을 어떻게 안전하게 길들일 것인가"라며 "AI 통제 및 윤리 가이드라인의 마련이 시급하다는 경고의 메시지"라고 강조했다.