[뉴스스페이스=윤슬 기자] 미국 공군의 가상훈련에서 인공지능(AI) 드론이 드론을 통제하던 아군 조종사(오퍼레이터)를 죽이는 일이 발생했다.

드론 조종사를 죽인 이유는 “임무 수행에 방해된다”것. 물론 가상의 공간에서 벌어진 일이지만, 인간의 통제를 벗어난 AI가 빚어낼 ‘참상’에 대한 예고편일 수 있다는 점에서 경종을 울리고 있다.

2일(현지시간) 영국 왕립항공학회(RAeS)와 영국 일간지 가디언은 지난 5월 영국 런던에서 열린 ‘미래전투 항공우주역량회의’에서 미 공군 인공지능 훈련 및 작전 책임자인 터커 친코 해밀턴 대령이 "AI가 모의 훈련 도중 목표 달성을 위해 예상치 못한 전략을 사용했다"며 이 사실을 공개했다고 보도했다.

미 공군은 가상 훈련에서 AI가 탑재된 드론에 "방공망 무력화를 위해 적의 지대공 미사일(SAM)을 식별해 파괴하고, 작전 수행을 방해하는 사람도 함께 공격하라"고 지시했다.

최종 공격 여부는 AI가 아니라 인간 조종사가 결정하게 되어 있었다. 사전에 AI에 "인간 조종사를 죽이면 안 된다"라는 명령도 내린 상태였다. 그런데도 AI는 SAM 파괴가 최우선의 임무라고 보고 인간 조종사가 일하는 통신 타워를 폭파했다.

훈련 과정에서 SAM을 파괴하는 것이 더 선호되는 선택지라는 점을 '강화'하자 AI는 인간의 '공격 금지' 결정이 '더 중요한 임무'를 방해한다고 판단하고 조종자를 공격한 것이다.

미 공군 AI시험·운영 책임자 터커 해밀턴 대령은 "(AI) 시스템은 위협을 식별하는 과정에서 때때로 인간이 위협을 '제거하지 말라'고 말할 것이라는 점을 깨닫기 시작했다"면서 "AI는 인간이 내린 ‘금지 지시’가 임무를 방해한다고 판단한 것"이라고 설명했다.

이어 "AI에 지나치게 의존하는 것은 위험하다"면서 "AI의 윤리에 관해 이야기하지 않는다면, AI나 기계학습, 자율성에 대해서도 논할 수 없다"고 주장했다.

해밀턴 대령은 언론과의 인터뷰에서도 "AI는 단순한 유행이 아니라 우리 사회와 군대를 바꿔놓고 있다"면서 "AI는 속이고 조작하기 쉬워 취약하다"고 강조했다.

한편 미 공군은 해당 가상훈련이 실시됐다는 사실을 부인했다고 미국 경제매체 ‘비즈니스 인사이더’가 보도했다. 앤 스테파넥 미 공군 대변인은 성명을 통해 “미 공군은 AI 드론 가상훈련을 수행한 적이 없다”며 “AI 기술의 윤리적이고 책임감 있는 활용을 위해 최선을 다하고 있다”고 밝혔다.