[뉴스스페이스=이현주 기자] 요슈아 벤지오가 다시 한 번 AI 업계의 속도전에 경고음을 울렸다. 그는 블룸버그 인터뷰에서 “우리가 통제할 방법을 모르는” 시스템을 세상이 만들고 있다며, 자율적 AI 에이전트의 확산을 막기 위한 국제 공조를 촉구했다.

벤지오는 “지금 우리는 완전한 통제 능력을 갖고 있지 않다”고 직설적으로 말했고, 해법이 국가 단위가 아니라 글로벌 거버넌스 차원에서 나와야 한다는 점을 강조했다.

핵심은 기술의 유용성이 아니라 통제 불가능성이다. LawZero가 공개한 연구 설명에 따르면 벤지오가 구상한 ‘Scientist AI’는 목표를 추구하는 에이전트형 AI와 달리, 세상을 이해하고 예측하되 자체 목표를 갖지 않는 안전 중심 시스템이다.

LawZero는 또한 “현재의 첨단 AI 시스템은 공공안전과 보안에 중대한 위험을 초래할 수 있으며, 통제 불가의 인간 통제 상실까지 이어질 수 있다”고 적시했다. 이는 벤지오가 단순한 철학적 우려가 아니라, 기술 설계 자체를 바꾸는 방향으로 문제를 풀겠다고 나선 배경을 보여준다.

벤지오의 경고는 국제적 연구 흐름과도 맞닿아 있다. 2025년 1월 공개된 국제 AI 안전 보고서는 100명의 AI 전문가가 참여했고, 33개국 및 UN·EU·OECD가 추천한 대표가 포함됐다. 이 보고서는 AI 위험을 3가지로 분류했다. 악의적 사용, 기술적 오작동, 시스템적 위험이다.

특히 악의적 사용에는 대규모 사기, 사이버 공격, 딥페이크, 생물학적 위협이 포함되고, 시스템적 위험에는 시장 집중과 사회적 불안정이 들어간다. 벤지오가 “AI 에이전트가 우리를 죽이거나 민주주의를 무너뜨릴 수 있다”고 경고한 대목은 이 프레임과 정확히 겹친다.

문제는 시간이 벤지오 쪽이 아니라 기술 쪽으로 흐르고 있다는 점이다. 2026년 키 업데이트 초안은 AI의 추론 능력과 코딩·과학문제 해결 성능이 향상됐지만, 동시에 생물·사이버 위험과 모니터링·통제 문제도 커졌다고 지적했다.

기술이 강해질수록 통제는 더 어려워지고, 안전장치의 부재는 더 치명적이 된다. 결국 벤지오의 발언은 “AI를 만들지 말자”가 아니라 “에이전트 시대에 맞는 통제 설계 없이 먼저 달리지 말자”는 경고로 읽힌다.