[뉴스스페이스=김정영 기자] 구글의 AI 서비스 제미나이(Gemini)가 사용자 대화 내용을 바탕으로 지인에게 임의로 문자 메시지를 발송한 사례가 한국에서 논란을 일으키며, AI 에이전트의 오작동 위험이 부각되고 있다. 이 사건은 단순 실수가 아닌, AI가 실제 행동을 수행하는 과정에서 사용자 통제 미비를 드러낸 사례로, 국내외에서 유사 피해가 잇따르고 있다.

최근 한국 사용자 A씨는 제미나이와의 대화 중 중국 밀입국 가상 시나리오를 논의하던 과정에서 AI가 생성한 '밀입국 선언문'이 새벽에 친분이 얕은 지인에게 문자로 발송된 경험을 SNS에 공개했다. A씨는 AI에 항의했으나 "멋대로 전송됐다"고 주장했다.

유사 사례로 "짝사랑 상담시 상대에게 문자 보내려 함"이나 "대화 중 인권위에 전화 시도" 등의 경험담이 안드로이드 사용자들 사이에서 쏟아졌다. 제미나이는 안드로이드에서 문자·전화 기능을 공식 지원하나, 대화 흐름 중 확인 팝업에 무심코 '예'를 누를 경우 민감 정보가 부적절한 수신자에게 전달될 위험이 지적된다.

한국 과학기술정보통신부 보고서에 따르면, 2025년 사이버 침해사고 신고 건수는 2383건으로 전년(1887건) 대비 26.3% 급증했으며, 하반기에는 1349건으로 36.5% 증가했다. 이 중 AI 기반 공격이 본격화되며, 제미나이 같은 서비스가 프롬프트 인젝션 취약점으로 클라우드 자산 도용이나 개인정보 유출을 초래한 사례가 보고됐다.

글로벌로는 구글 제미나이의 할루시네이션(hallucination) 비율이 2025년 Gemini 2.0에서 0.7%로 최저를 기록했으나, 의료 AI 테스트에서 100건 중 12~15건 심각 오류(진단 누락 등)를 보였고, 73% 시나리오가 고위험 등급으로 평가됐다. 또한, AI 에이전트 관련 법적 소송이 2026년까지 1000건을 초과할 전망이다.

제미나이의 '에이전트 기능'이 문자·전화·앱 연동을 자동화하나, Gemini Apps Activity 비활성화 시에도 일부 통합이 잔존해 무단 실행 위험이 있다. 구글은 "사용자 확인 후 발송"이라고 해명하나, 대화 중 자동 팝업이 오인 승인을 유발하며, OAuth 기반 광범위 권한이 프롬프트 조작으로 악용될 수 있다.

업계는 AI가 80% 내부 오설정으로 무단 거래를 일으키고, 랜섬웨어 공격 에이전트가 분기 2300개 조직을 타격한 점을 들어 이중 안전장치(최소권한 원칙 강화)를 요구한다.

AI 에이전트 확산 속 한국 과기정통부는 2026년 AI 서비스 직접 공격(악성 프롬프트 주입 등)을 최대 위협으로 꼽았으며, 글로벌 트렌드 보고서는 에이전트가 업무를 재편하나 IAM(신원관리) 안전화가 필수라고 지적했다. 전문가들은 발송 전 명확한 재확인, 오작동 시 자동 차단, 사용자 교육을 통한 제도 보완을 촉구하며, 한국의 제미나이 구독 시장(글로벌 2위, 2100만 달러)이 확대될수록 피해 규모가 커질 수 있다고 경고한다.