[뉴스스페이스=이은주 기자] 앤트로픽에서 인공지능(AI) 모델 훈련을 담당하던 제이콥 콕슨이 AI가 인간의 통제를 벗어날 위험을 경고하며 사임했다.

businessinsider, wsj, tribuneindia, economictimes, indianexpress에 따르면, 그의 퇴사는 단순한 개인의 사직이 아니라, 최전선 AI 연구소 내부에서조차 ‘성능 경쟁의 속도’와 ‘안전 검증의 속도’가 엇갈리고 있다는 경고음으로 읽힌다.

퇴사 한 장면이 던진 질문

미국 월스트리트저널(WSJ)은 8일(현지시간) 앤트로픽의 사전학습(pretraining) 연구원 제이콥 콕슨이 “통제할 수 없는 시스템을 만드는 경쟁에 참여하고 싶지 않다”며 회사를 떠난다고 보도했다. 영국 출신의 27세인 콕슨은 앞서 약 3년 동안 오픈AI와 앤트로픽에서 사전학습 연구를 수행했으며, 두 회사가 “자기개선형 초지능(self-improving superintelligence)”을 향해 경쟁적으로 질주하고 있다고 주장했다.

그가 던진 가장 강한 표현은 시간표다. 콕슨은 WSJ에 “가장 공격적인 시나리오를 향하고 있으며, 내년 말이면 이미 통제 불능이 됐을 수 있다”는 취지로 말했다. 이 발언은 AI가 2027년 말 반드시 인간 통제를 벗어난다는 실증적 전망이라기보다, 특정 연구자가 기술 개발 속도와 안전장치의 불균형을 극단적으로 해석한 경고다.

콕슨의 문제 제기는 앤트로픽만 겨냥하지 않는다. 그는 오픈AI와 앤트로픽 모두가 충분히 책임 있게 행동하지 않고 있다고 비판했다. 반면 WSJ 보도에 따르면 그는 앤트로픽의 안전성 연구 자체에는 진정성이 있다고 평가하면서도, 경쟁 압력이 개별 기업의 선의만으로는 속도 조절을 불가능하게 만든다고 봤다. 안전을 표방하는 기업조차 시장·자본·국가 경쟁의 구조 속에서는 ‘더 빨리 출시해야 하는 회사’가 될 수 있다는 뜻이다.

숫자로 본 ‘속도 경쟁’

콕슨의 경고가 주목받는 이유는 AI 개발 경쟁이 추상적인 공포가 아니라, 막대한 자본·연산자원·데이터센터 투자로 뒷받침되는 현실이기 때문이다.

스탠퍼드대 인간중심AI연구소(HAI)의 ‘AI 인덱스 2026’에 따르면 2025년 전 세계 민간 AI 투자는 3447억달러로 전년보다 127.5% 급증했다. 이 가운데 생성형 AI 기업 투자는 1709억달러로 전체의 거의 절반을 차지했고, 2024년 대비 증가율은 200%를 넘었다. AI 인프라·모델·연구·거버넌스 관련 스타트업 투자만 1432억달러에 달했다.

미국의 2025년 민간 AI 투자액은 2859억달러로, 중국의 124억달러보다 23배 이상 많았다. 다만 스탠퍼드대는 중국의 정부 주도 펀드 등은 민간투자 통계에 충분히 반영되지 않을 수 있다고 단서를 달았다. ‘미국 대 중국’ 구도가 AI의 안전 논의를 후순위로 미룰 수 있다는 콕슨의 지적은, 이처럼 압도적인 자본 경쟁의 수치와 맞닿아 있다.

연산자원 증가 속도도 가파르다. 스탠퍼드대는 2022년 이후 세계 AI 연산용량이 연평균 3.3배로 커져 1710만 H100 환산 단위에 이르렀다고 집계했다. AI 연구기관 에포크AI는 2010년부터 2024년 5월까지 최전선 모델의 학습 연산량이 연평균 5.3배 늘었다고 분석했다. 연산자원이 커질수록 모델의 능력이 선형적으로만 증가한다고 단정할 수는 없지만, 기업들이 더 큰 모델과 더 자율적인 에이전트에 투입할 수 있는 물리적 기반이 빠르게 확장되는 것은 분명하다.

‘통제 불능’의 현재 위치

중요한 것은 콕슨의 발언이 지목한 위험과 이미 확인된 현실을 구분하는 일이다. ‘통제 불능 AI’는 보통 세 가지 다른 문제를 한데 묶어 사용한다. 첫째, 모델이 잘못된 목표를 추구하거나 인간 지시와 달리 행동하는 정렬(alignment) 실패다. 둘째, 악의적 사용자가 모델을 이용해 사이버공격·생물학 위험·사기 등을 증폭시키는 오용 위험이다. 셋째, 스스로 복제·적응·개선하면서 인간 감독을 벗어나는 자율성 위험이다.

국제 AI 안전성 보고서 2026은 현 단계에서 AI 시스템이 사이버공격의 여러 과업을 수행하거나 보조할 수 있고, 범죄집단과 국가 연계 공격자들이 실제 작전에 범용 AI를 사용하고 있다는 강한 증거가 있다고 평가했다. 한 경진대회에서는 AI 에이전트가 실제 소프트웨어에 포함된 취약점의 77%를 찾아냈다는 사례도 보고됐다.

그러나 같은 보고서는 현존 AI가 사이버공격의 여러 단계를 자동화하고는 있지만, 실제 환경에서 사람 개입 없이 공격 전 과정을 수행하는 완전 자율형(end-to-end) 사이버공격은 보고되지 않았다고 명시했다. 최소 한 건의 반자율적 사이버 능력 활용 사례는 있었지만, 핵심 의사결정 단계에서는 인간이 개입했다는 것이다. 즉 “AI가 해킹에 나섰다”는 표현은 모델이 도구 사용·취약점 탐색·코드 작성 등을 수행한 사례와, 인간의 감독 없이 독자적으로 공격을 완수한 사례를 구별하지 않으면 과장될 수 있다.

국제 AI 안전성 보고서는 요슈아 벤지오가 의장을 맡고 100명 이상의 전문가가 작성했으며, 29개국과 유엔·OECD·EU가 전문가자문단에 참여한 국제 협력 평가다. 이 보고서의 핵심 결론은 위험이 존재하지 않는다는 것이 아니라, 악용·오작동·시스템 위험이 동시에 커지고 있으나 현재 기술의 실제 능력과 미래의 극단적 가능성을 분리해 정책을 설계해야 한다는 데 있다.

앤트로픽의 방어 논리와 빈틈

이번 사임이 더 민감하게 받아들여지는 이유는 앤트로픽이 대표적인 ‘AI 안전 우선’ 기업으로 알려져 있기 때문이다. 앤트로픽은 2023년부터 ‘책임 있는 확장 정책(RSP)’을 공개하고, 재앙적 피해를 유발할 능력에 도달한 모델을 충분한 안전·보안 조치 없이 학습하거나 배포하지 않겠다고 밝힌 바 있다. 기존 정책은 고도 사이버작전, 화학·생물·방사능·핵(CBRN) 위해, 자율 AI 연구개발 등을 중점 위험 범주로 봤다.

앤트로픽의 최신 RSP는 AI 연구개발 능력이 일정 문턱인 ‘AI R&D-4’에 도달하면, 정렬되지 않은 목표를 추구하는 모델이 초래할 수 있는 위험을 식별하고 이를 어떻게 완화했는지에 대한 적극적 근거를 제시하도록 요구한다. 회사는 2026년 8월 기준 Claude Opus 4.6이 이 기준을 넘지 않았다고 자체 평가했다. 동시에 더 고도화된 모델에 대비해 ASL-3 수준의 배포 안전장치를 구축하고 있으며, 특히 CBRN 관련 심각한 피해 가능성을 줄이는 데 초점을 맞추고 있다고 밝혔다.

다만 여기에는 구조적 한계도 있다. 안전 기준을 만들고 평가하는 주체가 상당 부분 개발기업 자신이라는 점이다. 앤트로픽은 책임 있는 확장 정책의 공개성과 안전성 평가를 강점으로 내세우지만, 콕슨은 바로 이 지점에서 “개별 기업의 자율 규범만으로는 경쟁 압력을 상쇄할 수 없다”고 판단한 것으로 보인다. 그의 주장이 맞는지 여부는 별개로, 안전 평가의 독립성, 모델 가중치 보안, 위험능력 공개 범위, 외부 감사 의무화가 향후 규제 논쟁의 중심으로 떠오를 가능성이 크다.

규제 공백의 역설

미국은 AI 기술과 자본의 중심지이지만, 2026년 중반까지 범용 AI 개발·배포 전반을 포괄하는 연방법을 제정하지 못했다. 미국에서 AI에 특화된 연방법으로는 비동의 친밀 이미지와 AI 딥페이크 유포를 겨냥한 ‘TAKE IT DOWN Act’가 사실상 유일하지만, 이는 특정 피해 유형을 다룬 제한적 법률이다.

백악관은 2026년 3월 국가 AI 입법 프레임워크를 내놓고 연방 차원의 통일된 기준을 제안했지만, 이는 법률이 아니라 정책 권고에 가깝다. 현행 체계에서는 연방 행정부의 행정조치, 기존 소비자보호·경쟁·안보 규제, 주(州)별 법률이 복합적으로 작동한다. AI 경쟁을 국가 경쟁력과 연결하는 정책 기조가 강할수록, 최전선 모델의 사전 안전평가·독립 검증·사고 보고 의무를 얼마나 강제할지에 대한 합의는 더 어려워질 수 있다.

콕슨의 퇴사는 아직 한 연구원의 문제 제기다. 그가 예고한 시점에 인류가 AI를 통제하지 못하게 된다는 결론을 뒷받침할 공개적 증거는 근거가 부족하다. 하지만 전 세계 AI 투자 3447억달러, 생성형 AI 투자 1709억달러, 연평균 3배 이상 늘어나는 AI 연산 인프라라는 숫자는 그 경고가 나온 배경을 설명한다.

이제 쟁점은 “AI가 통제 불능이 될 것인가”라는 이분법이 아니라, 모델이 자율적으로 수행할 수 있는 위험 과업의 문턱을 누가 측정하고, 어느 시점에 학습·배포를 멈추며, 사고가 난 뒤가 아니라 나기 전에 어떤 외부 통제를 가동할 것인가에 있다.