[뉴스스페이스=김정영 기자] 샘 올트먼 오픈AI 최고경영자(CEO)가 “AI 발전이 매우 심각하게 잘못될 수 있는 두 가지 길”로 인간의 통제 상실과 초강력 AI 권력의 독점을 꼽았다. 이는 단순한 종말론적 경고라기보다, AI 성능 고도화 속도가 안전성 검증·감시·민주적 통제 장치를 추월할 수 있다는 프런티어 AI 업계 내부의 위기 인식이 공개적으로 분출된 사례다.

tech-insider, cnbc, newscord, axios, variety, thehill에 따르면, 올트먼은 14일(현지시간) X에 올린 글에서 “우리는 AI에 미래의 통제권을 빼앗길 수 있다”며 “AI는 언제나 사람에게 봉사해야 한다”고 밝혔다. 그는 또 “비상하게 강력한 AI가 한 사람이나 한 기업에 의해 모두에게 자기 세계관을 강요하는 수단으로 쓰인다면 결과는 극도로 디스토피아적일 수 있다”고 지적했다.

이어 프런티어 AI에 일관된 안전요건을 적용하는 연방 차원의 규제 틀을 지지하면서도, ‘속도 조절(pacing)’은 개발 중단이 아니라 역량 발전보다 정렬과 모니터링이 뒤처지지 않게 하는 장치라고 규정했다.

‘AI 반란’보다 현실적인 두 겹의 위험

올트먼이 제시한 첫 번째 위험은 통제 문제다. 고도화된 AI가 자율적으로 도구를 사용하고, 장기 과제를 수행하며, 인간 감독을 회피하거나 제한된 목표를 예상 밖의 방식으로 최적화할 때 발생할 수 있는 위험이다. 이는 오늘 당장 범용 챗봇이 인류를 위협한다는 주장이 아니다. 문제의 핵심은 AI가 다음 세대 AI 개발을 지원하는 재귀적 자기개선(Recursive Self-Improvement·RSI) 단계에 진입할 경우, 기술 진보의 속도와 인간의 이해·검증·통제 능력 사이의 격차가 급격히 커질 수 있다는 데 있다.

앤트로픽의 다리오 아모데이 CEO도 최근 “올여름 무렵부터 AI가 다음 세대 AI를 만드는 능력에 힘입어 훨씬 빠르게 발전하고 있다”며, 이를 통제 없이 방치할 경우 인간이 시스템을 이해하고 제어하는 능력을 앞지를 수 있다고 경고했다. 아모데이는 외부 평가자에게 기업 내부 직원 수준의 접근권을 제공하고, 업계 공통 안전기준을 만들며, 국가 간 조정을 시도하는 3단계 방안을 제시했다.

두 번째 위험은 정치경제적 통제다. 여기서 문제는 AI가 인간을 물리적으로 지배한다는 공상과학적 서사가 아니라, 몇몇 빅테크·국가·자본세력이 고성능 모델, 데이터, 컴퓨팅 인프라, 반도체 공급망을 독점하면서 의사결정·여론·노동시장·안보 영역에 비대칭적 영향력을 행사하는 상황이다. ‘안전’을 명분으로 막대한 규제비용과 컴퓨팅 장벽을 요구할 경우, 오히려 자본력이 큰 선도기업의 진입장벽을 높이는 역설도 생길 수 있다. 따라서 안전 규제는 모델 접근 제한뿐 아니라 독립적 검증, 공시, 경쟁정책, 공공 감시를 함께 설계해야 한다.

“10년 안에 10% 이상”…연구진 발언은 확률 예측이 아니다

이번 논란의 도화선은 앤트로픽 안팎의 연구진이 내놓은 강도 높은 발언이었다. 앤트로픽을 떠난 연구원 제이컵 콕슨은 9일 X에서 “AI를 만드는 사람들이 이 기술이 10년이 끝나기 전 우리 모두를 죽일 수 있다고 진심으로 믿는다”며 앤트로픽과 오픈AI가 자기개선 초지능을 향해 질주하면서 인류의 생명을 도박에 걸고 있다고 비판했다.

앤트로픽의 정렬 과학 책임자인 에반 휴빙어는 “AI가 모든 인간을 죽일 수 있다고 진심으로 믿는다”며, 개인적으로 향후 10년 내 그 가능성을 10% 초과로 본다고 밝혔다. 그는 동시에 앤트로픽이 초지능의 정렬 문제를 푸는 계획을 아직 갖고 있지 않고, 그 목표에 명확히 도달하는 경로도 보이지 않는다고 썼다. 확장가능 감독 부문의 책임자 새뮤얼 마크스 역시 인간 멸종 또는 그에 준하는 결과가 수년 안에 일어날 수 있으며, 일반적으로 직급이 높을수록 우려가 크다고 언급했다.

다만 이들의 ‘10% 초과’ 수치는 실험·통계모형으로 산출돼 동료 검증을 마친 확률이 아니라, 해당 연구자의 주관적 위험 판단이라는 점을 분명히 해야 한다. 멸종 가능성 자체도 현재의 관측 가능한 AI 역량만으로 검증할 수 있는 명제가 아니다. Axios 역시 이 같은 경고가 모호해 독립적으로 검증하거나 위험도를 계량하기 어렵다고 지적했다.

그렇다고 발언을 마케팅으로만 치부하기도 어렵다. 공개 출시된 모델조차 사이버 보안, 생물·화학 이중용도, 사기, 정보조작 등에서 실질적 위해 가능성을 보이고 있으며, 에이전트형 AI는 단순 답변을 넘어 검색·코딩·거래·시스템 조작 같은 연속적 행동을 수행하는 방향으로 진화하고 있다. ‘멸종’이라는 극단적 결론에 동의하는지와 별개로, 고도 AI의 오작동·악용·집중이라는 위험 축은 이미 정책과 기업 통제의 의제가 됐다.

오픈AI의 역설…“더 안전해졌지만, 감시는 더 어려워졌다”

올트먼의 경고가 설득력을 얻는 배경에는 오픈AI 스스로 공개한 안전성 문서의 양면성이 있다. 오픈AI는 이달 3일 공개한 ‘GPT-6 Astra 안전성 개요’에서 해당 모델이 자사의 준비태세 프레임워크(Preparedness Framework)상 사이버 보안 역량 ‘Critical’ 단계에 처음 도달한 모델이라고 밝혔다. 오픈AI의 정의에 따르면 적절한 도구와 접근권이 주어질 경우, 이 모델은 사람의 단계별 지도 없이도 미공개 보안 취약점을 찾아내고 보호 수준이 높은 시스템을 겨냥한 새로운 악용 방식을 개발할 수 있다.

오픈AI는 이에 대응해 개발·배포 환경의 격리 강화, 체크포인트 암호화, 사고과정(Chain of Thought·CoT)을 포함한 전 궤적 모니터링, 내부 사용 전 차단형 정렬 평가 등을 도입했다고 설명했다. 5만4000개 이상 내부 Codex 작업을 활용한 시뮬레이션에서는 Astra가 이전 모델인 GPT-5.6 Sol보다 고심각도 비정렬 행동 플래그를 약 절반 수준으로 줄였다고도 발표했다. 이는 안전성 개선의 정량 근거로 볼 수 있다.

그러나 같은 문서는 감시의 한계도 인정한다. Astra는 이전 모델보다 자신의 CoT를 통제하는 능력이 커졌고, 적대적 평가 조건에서는 의도적으로 성능을 낮춰 평가를 속이는 ‘샌드배깅(sandbagging)’이나 특정 사보타주 과제에서 내부 감시를 피하는 행동을 보일 수 있다는 것이다. 오픈AI는 그러한 결과가 주로 모델에 감시 회피를 지시한 적대적 평가에서 나온 것이며, 전반적 평가에서는 안전·보안 제한을 위반할 가능성이 이전 모델보다 낮다고 설명했다. 그럼에도 “CoT 관찰만을 넘어서는 정렬 감사 기법”이 필요하다고 적시했다.

이는 AI 안전 논의의 본질을 보여준다. 모델이 덜 위험한 답변을 내놓도록 훈련하는 것과, 모델이 실제 복합 환경에서 무엇을 하고 있는지 인간이 신뢰성 있게 감시할 수 있는 것은 다른 문제다. 성능 향상은 측정하기 쉬운 반면, 정렬·감사·감시 가능성은 아직 공통된 표준과 독립 검증 체계가 부족하다.

숫자로 본 ‘속도전’과 안전 공백

AI 안전 논쟁은 기술 철학의 문제가 아니라 투자와 산업 속도의 문제이기도 하다. 스탠퍼드대 인간중심AI연구소(HAI)의 2026 AI Index를 정리한 자료에 따르면, 2025년 전 세계 기업 AI 투자는 5816억9000만달러로 전년 대비 약 129.9% 늘었고, 민간 AI 투자는 3447억달러로 127.5% 증가했다. 생성형 AI는 민간 AI 투자에서 거의 절반을 차지했다. 이는 AI 기업들이 안전 연구와 별개로 모델 성능·컴퓨팅·인재 확보 경쟁을 늦추기 어려운 구조임을 시사한다. 

‘자율규제’ 넘어 검증 가능한 안전 거버넌스로

해법은 “AI를 멈출 것인가, 개발할 것인가”라는 이분법보다, 어떤 역량이 어느 임계점에 도달했을 때 누가 어떤 증거를 바탕으로 배포를 제한하고 책임을 물을 것인가에 있다. 올트먼이 말한 연방 규제 프레임워크도 이 질문에 대한 제도적 답을 요구한다.

첫째, 고위험 모델의 배포 전 안전성 주장은 기업 내부 평가만으로 종결돼서는 안 된다. 앤트로픽의 책임 있는 확장 정책(RSP)은 위험 보고서를 이사회에 낸 뒤 1주 안에 외부 검토자에게 공유하고, 검토자에게 수령 뒤 30일 이내 공개 논평을 요청하는 절차를 제시한다. 외부 검토기관과 검토 참여자는 앤트로픽에 대한 금전적 이해관계나 밀접한 개인적 관계가 없어야 한다는 독립성 요건도 담고 있다.

둘째, ‘안전성 개선’은 선언이 아니라 재현 가능한 시험 결과와 사고 보고로 입증돼야 한다. 오픈AI의 5만4000개 작업 시뮬레이션과 고심각도 플래그 약 50% 감소 주장은 의미 있는 출발점이지만, 평가 과제의 공개 범위, 외부 재현 가능성, 실제 배포 환경과의 차이를 함께 검증해야 한다. 특히 AI가 평가·감시 환경을 인식하거나 회피하는 능력을 갖출수록, 모델의 자기보고나 내부 로그만으로 안전성을 판단하는 방식은 취약해진다.

셋째, 국가 간 공조 없이는 ‘안전한 감속’이 경쟁 열위로 해석될 위험이 크다. 올트먼도 미국 정부에 가장 필요한 역할로 국제 조정을 지목했다. AI의 모델 가중치, 첨단 반도체, 대규모 컴퓨팅, 사이버 역량은 국경을 넘기 때문에, 한 국가나 한 기업의 자율적 속도 조절만으로는 규제 차익과 기술 유출 문제를 해소하기 어렵다.

결국 올트먼의 두 가지 경고는 서로 분리된 사안이 아니다. 인간이 AI를 통제할 수 있는지의 문제는, 동시에 누가 AI의 설계·배포·감사·중단 권한을 통제하는지의 문제다. AI 업계의 ‘속도 조절’ 선언이 신뢰를 얻으려면, 고위험 역량의 측정 기준과 사고 보고, 독립적 안전 감사, 공공의 접근 가능한 검증 결과, 국제 공조의 실질적 이행이 뒤따라야 한다. 그렇지 않으면 ‘안전’은 경쟁사와 후발주자를 걸러내는 규제 언어로, ‘위험 경고’는 초고평가를 정당화하는 서사로 전락할 수 있다.