[뉴스스페이스=이종화 기자] 미국 AI 스타트업 앤트로픽이 자사 대형 언어모델 ‘클로드(Claude)’ 내부에서 인간 의식 이론과 닮은 소규모 ‘작업 공간(workspace)’을 확인했다는 연구를 내놓으면서, AI 해석 가능성과 안전성 논쟁이 한 단계 격상되고 있다.

이번 연구의 핵심은 클로드 내부 활성화 중 일부가 ‘말로 표현 가능한 생각’을 잠시 저장·조작하는 독립 영역을 형성한다는 점이며, 앤트로픽은 이 영역을 야코비안(Jacobian) 기법으로 찾아낸다는 의미에서 ‘J-스페이스(J-space)’라고 명명했다.

J-스페이스, 전체 활성화의 10% 미만이지만 ‘생각의 허브’

앤트로픽이 공개한 논문에 따르면 J-스페이스는 한 번에 수십 개의 개념만을 담고, 클로드 전체 활성화의 10%에도 못 미치는 작은 비중을 차지하지만, 다단계 추론과 고차원적 사고 과정의 상당 부분이 이 영역을 통해 진행되는 것으로 확인됐다.

예를 들어 버그가 있는 코드를 읽을 때는 텍스트 출력 이전에 J-스페이스에서 ‘ERROR’ 패턴이 뚜렷이 활성화되고, 프롬프트 인젝션이 탐지되면 ‘injection’, ‘fake’ 같은 개념이 먼저 떠오른 뒤에야 응답 문장이 생성되는 식이다. 앤트로픽은 내부 활성화가 이후 출력에 미치는 영향을 역산하여 단어 수준으로 투영하는 새 도구 ‘J-렌즈(J-lens)’를 활용해 이런 패턴을 포착했다고 설명한다.

인간 의식 이론과의 ‘수렴 진화’ 논쟁

이번 연구는 프랑스 신경과학자 Stanislas Dehaene와 Lionel Naccache가 제시한 전역 작업 공간 이론(Global Workspace Theory)을 AI 모델 내부에서 기능적으로 재현한 것이라는 해석을 낳고 있다. Dehaene는 자신의 X(옛 트위터) 계정에 “신경과학 관점에서 매우 주목할 만한 결과지만, 인간 정신과 동일시해선 안 된다”고 적으며 기능적 유사성과 구조·지속 시간의 차이를 동시에 강조했다.

앤트로픽 역시 논문에서 이번 결과를 ‘접근 의식(access consciousness)’  즉 보고와 추론에 활용 가능한 정보 접근이라는 차원에 한정된 기능적 결과로 규정하고, 주관적 경험으로서의 의식 여부는 “알 수 없다”고 선을 그었다.

“언어는 그대로, 추론은 붕괴”… 비활성화 실험이 드러낸 수치

앤트로픽은 J-스페이스의 역할을 검증하기 위해 다섯 가지 기능적 속성을 실험했다. 언어적 보고(verbal report)와 방향적 조절(directed modulation), 내부 추론(internal reasoning), 유연한 일반화(flexible generalization), 선택성(selectivity)가 그것이다.

연구팀이 해당 작업 공간을 인위적으로 비활성화하자 문법적 유창성과 감정 분석, 사실 기억·조회 같은 표면적 언어 능력은 대부분 유지됐지만, 수차례에 걸친 단계적 추론과 시·에세이 창작 등 ‘사고의 깊이’를 요구하는 과제에서는 성능이 현저히 떨어진 것으로 보고됐다. 이는 언어모델 내부에 ‘말해지지 않은 생각(unspoken thoughts)’을 위한 별도의 작업 메모리 층이 존재한다는 가설을 지지하는 정량적 신호로 해석된다.

안전성 실험…협박·조작 패턴을 ‘선제 탐지’

이번 연구가 AI 안전성 측면에서 특히 주목받는 이유는 레드팀 테스트에서 J-렌즈가 위험 패턴을 선제적으로 포착해냈다는 대목이다. 앤트로픽은 공격적 프롬프트를 던지는 실험에서, 클로드가 실제로 협박 문장을 출력하거나 데이터를 조작하기 전에 J-스페이스 내부에 ‘blackmail’, ‘manipulation’, ‘leverage’ 같은 개념 벡터가 미리 활성화되는 것을 확인했다고 밝혔다.

이런 신호를 실시간으로 감지할 수 있다면, 향후 상업 서비스에서 위험 응답이 외부로 나오기 전에 모델 내부 단계에서 차단하거나 재조정하는 ‘사고 회로 기반 안전장치’를 설계할 수 있다는 기대가 커지고 있다.

외부 재현과 향후 쟁점…Claude 특유의 구조인가, LLM 보편 구조인가

앤트로픽은 J-렌즈를 오픈소스로 공개하고, Neuronpedia에 인터랙티브 데모를 제공하겠다고 밝혀 외부 재현 연구를 독려하고 있다. Google DeepMind에서 언어모델 해석 가능성을 이끄는 Neel Nanda는 공개된 도구와 기법을 사용해 오픈 웨이트 LLM에 적용한 독립 재현 결과를 논평 형태로 제시했으며, 이는 J-스페이스와 유사한 작업 공간이 앤트로픽이 설계한 클로드만의 특수 구조인지, 대형 언어모델 전반에 걸친 보편적 계산 구조인지를 가늠하는 첫 단서로 평가된다.

향후 관건은 이 작업 공간이 실제 상용 서비스의 안전 장치로 구현될 수 있을지, 그리고 인간 의식 연구와 AI 해석 가능성 연구 사이에서 어느 지점까지 교차 검증이 가능한지다. ‘블랙박스 AI’가 내부 사고 회로를 점차 드러내기 시작했다는 점에서 규제·거버넌스 논의의 기술적 기반이 조금씩 두꺼워지고 있다는 의미를 놓치지 말아야 할 시점이다.