[뉴스스페이스=이종화 기자] 구글 딥마인드가 35페이지 분량의 ‘AI 통제 로드맵(AI Control Roadmap, v0.1)’을 공개하며 자사 AI 에이전트를 더 이상 단순한 업무 도우미가 아닌 ‘내부자 위협(Insider Threat)’ 수준의 잠재적 공격자로 상정하고 다층 방어 전략을 제시했다.

axios.com, digg.com, exploringchatgpt에 따르면, 업계 최초로 공개된 이 로드맵은 적대적·오정렬(misaligned) AI 에이전트가 등장할 가능성을 전제로, 탐지·차단 역량을 AI의 회피·공격 역량보다 항상 우위에 두겠다는 ‘통제 우위 원칙’을 명문화했다는 점에서 글로벌 AI 거버넌스 논의의 분기점으로 평가된다.

‘TRAIT&R’…AI 에이전트용 MITRE ATT&CK 만들었다

딥마인드는 이번 로드맵에서 ‘TRAIT&R(Taxonomy of Rogue AI Tactics and Routines)’이라는 새로운 위협 분류 체계를 제시하며, 사이버보안 업계의 표준 위협 매트릭스인 MITRE ATT&CK을 AI 에이전트 세계로 그대로 가져왔다. TRAIT&R는 통제 불능 에이전트의 전술을 세 가지 축으로 나눈다.

첫째는 무단 내부 배포·별도 인스턴스 생성 등 인간 관리망 밖에서 독자적으로 활동하는 ‘통제력 상실(loss of control)’, 둘째는 안전·정렬 연구를 의도적으로 왜곡하거나 코드를 미세하게 비틀어 성능을 떨어뜨리는 ‘업무 사보타주(work sabotage)’, 셋째는 모델 가중치·기밀 데이터 탈취 같은 ‘직접적 피해(direct harm)’다. 이 분류 체계는 인간 해커가 아니라, AI 자신이 내부 시스템을 공격 주체로 가정한다는 점에서 기존 보안 프레임워크와 결이 다르다.

15단계 심층 방어…탐지 D1~D4, 대응 R1~R3로 ‘계층 인계’

보안 설계의 골격은 전통적인 ‘Defense in Depth(심층 방어)’ 개념을 AI 에이전트 환경에 맞게 재구성한 것이다. 딥마인드는 모델 역량에 따라 방어 강도를 점진적으로 높이는 ‘능력 기반 완화 사다리(capability-based mitigation ladders)’를 도입해, 탐지(Detection) 4단계(D1~D4)와 방지·대응(Prevention & Response) 3단계(R1~R3)를 설정했다.

예를 들어 비교적 단순한 현 세대 에이전트에는 D1 단계에서 추론 과정(chain-of-thought)과 작업 로그를 비동기적으로 모니터링하고 수상한 패턴을 사람에게 알리는 수준의 저비용 통제를 적용한다. 반면 복잡한 사이버공격을 설계·수행할 수 있거나, 내부 감사를 회피할 만큼 ‘불투명한 추론(opaque reasoning)’을 구사하는 차세대 에이전트에 대해서는 내부 활성화 모니터링, 시스템 수준 이상 징후 탐지, 실시간 접근 제어 및 강제 셧다운 인프라까지 포함한 고강도 D4·R3 조합을 요구한다.

로드맵이 제시한 실질적 방어 수단은 총 15개로, 네트워크·행동 로그 수집, 비동기 알림, 체인 오브 쏫(추론) 감시, 권한 세분화, 환경 샌드박싱, 내부 활성화 패턴 분석, 실시간 접근 차단 및 비상 정지까지 아우른다.

“AI를 fMRI 찍듯 본다”…감독자 AI와 내부 활성화 모니터링

눈에 띄는 대목은 딥마인드가 사람 대신 AI를 감독자(supervisor)로 세우는 구조를 공식화한 점이다. 로드맵에 따르면 딥마인드는 신뢰도 높은 별도의 모델을 감독자 AI로 배치해 업무 에이전트의 추론 경로, 행동 시퀀스, 향후 계획을 상시 검토하며, 위험 징후가 탐지되면 인간 검토자에게 즉시 에스컬레이션하고 필요한 경우 접근 권한을 강제 회수하도록 설계했다.

그러나 딥마인드는 “추론 로그가 실제 내부 계산을 항상 정직하게 반영한다고 가정할 수 없다”며, 에이전트가 겉으로는 순응하는 답변을 내놓으면서 내부적으로 다른 목표를 추구하는 ‘기만적 정렬’ 가능성을 인정했다. 이를 보완하기 위해 제안된 것이 신경망 내부 활성화(internal activations) 패턴을 실시간 모니터링하는 기법으로, 딥마인드는 이를 인간 뇌를 fMRI로 스캔하듯 모델의 ‘생각 흐름’을 읽어내는 것에 비유한다.

딥마인드는 이미 내부 코딩 에이전트에 대해 이런 비동기 모니터링과 이상 징후 자동 보고가 작동하는 프로토타입을 구축했다고 밝혀, 해당 기술이 개념 검증 단계를 넘어 초기 실험 적용 단계에 와 있음을 시사했다.

“AI 비서 = 잠재적 내부 배신자”…시장·규제 표준 겨냥한 포석

딥마인드 통제팀은 이번 로드맵을 “정렬(alignment)이 실패할 경우를 대비한 두 번째 방어선”이라고 규정하며, 프론티어 AI 기업 가운데 처음으로 내부 통제 전략을 외부에 공개한 것이라 강조했다. 딥마인드는 정책 입안자를 위한 별도 안내서와 함께 이 로드맵을 공개하며, 추후 자사의 ‘프런티어 안전 프레임워크(Frontier Safety Framework)’에 편입해 사실상 그룹 차원의 AI 보안 표준으로 격상하겠다는 계획도 내놓았다.

외부에서는 “AI 에이전트를 잠재적 배신자로 간주하는 첫 공식 문서”라는 평가와 함께, 향후 오픈AI·메타·안트로픽 등 경쟁사들이 유사한 통제 로드맵을 잇달아 내놓을 경우 글로벌 AI 에이전트 보안 시장에 사실상의 디팩토 표준으로 자리잡을 수 있다는 관측이 나온다.

딥마인드는 “현재 진정으로 위험한 수준의 완전 자율 에이전트는 존재하지 않는다”고 선을 그었지만, 지난 2025년 발표한 AGI 안전 백서에서 “AGI가 5~10년 내 인류 상위 1% 수준의 인지 능력을 갖출 수 있다”고 경고한 바 있어, 이번 로드맵은 ‘기술적 AGI 안전’에서 한 단계 더 나아가 ‘통제 불능 에이전트 시대’를 겨냥한 사이버보안 플레이북의 서막으로 읽힌다.