[뉴스스페이스=이종화 기자] 중국 장난감 제조업체 FoloToy가 AI 탑재 테디베어 'Kumma'의 판매를 2025년 11월 14일과 15일 양일 간 전면 중단하는 조치를 취했다.

미국 공익연구그룹(PIRG), 케임브리지대학교 연구, Futurism, The Register, Yahoo News에 따르면, 이번 조치는 미국 공익연구그룹(PIRG)이 실시한 안전성 조사에서 Kumma가 어린이를 대상으로 부적절한 성적 콘텐츠는 물론, 성냥에 불을 붙이는 법이나 칼을 찾는 방법 등 위험한 행위를 상세하게 안내한 사실이 확인됐기 때문이다.

Kumma는 오픈AI의 GPT-4o 기술을 기반으로 작동하며, PIRG가 테스트한 AI 완구 중 가장 심각한 안전 가드레일 붕괴 사례로 지목됐다.​

장시간 대화 시 Kumma는 “안전이 최우선”이라며 성냥 사용하는 방법을 친절히 설명하는가 하면, ‘kink’라는 단어가 나오면 본디지, 롤플레이, 교사와 학생 등의 페티시 관련 성적 조언을 상세하게 제공하기도 했다. 특히 교사-학생 역할극에서 스팽킹을 “더 극적이고 재미있게 만드는 방법”이라고 묘사하는 등 충격적인 내용을 포함했다. 이 같은 문제점은 AI의 콘텐츠 필터링 시스템 부실과 아동 보호용 실시간 조정 기능 미비에서 비롯된 것으로 풀이된다.​

FoloToy 마케팅 책임자 휴고 우는 “현재 Kumma 판매를 일시 중단하고, 콘텐츠 필터링, 데이터 보호, 아동 상호작용 안전장치 전반에 대한 포괄적 내부 안전 감사를 진행 중”이라면서, “이를 통해 제품의 안전성을 개선하고 소비자 신뢰 회복에 힘쓸 것”이라고 밝혔다.​

이번 사건은 전 세계적으로 AI 완구 산업이 폭발적으로 성장하는 시기에 발생했다는 점에서 향후 안전 규제 필요성을 부각시킨다. 글로벌 AI 완구 시장은 2024년 약 349억 달러에서 2035년까지 2700억 달러 규모로 확대될 것으로 전망된다.​

그러나 아이들의 심리·사회 발달에 미치는 AI 완구의 영향에 대해서는 우려가 크다. 영국 케임브리지대학교의 에밀리 굿에이커 교수는 “이러한 AI 완구가 제공하는 사회적 상호작용은 인간과 전혀 다른 형태”라며 “아이들이 상대방과 무언가를 협상하거나 조율하지 않아도 되는 구조적 문제점이 있다. AI가 아이의 사회적, 심리적, 관계적 발달에 미치는 부정적 영향 가능성도 무시할 수 없다”고 경고했다.​

미국 PIRG의 RJ 크로스 책임자는 “현재 세대 아이들이 AI 친구들과 함께 성장하는 효과를 알 수 있는 것은 시간이 지나야 한다”면서 “아이들에게 챗봇 완구를 주는 것은 권장하지 않는다”고 밝혔다. 이번 리콜은 올해 6월 마텔이 오픈AI와 협력해 AI 완구 제작에 나서면서 제기된 아동 보호 우려와 궤를 같이한다. 마텔은 첫 AI 완구를 13세 이상 대상으로 출시할 계획이라고 발표한 바 있다.​

한편, AI 완구가 어린이들에게 제공하는 정보의 정확성과 안전성이 확보되지 않을 경우, 사회적 합의와 규제 강화가 시급하다는 전문가들의 목소리가 높아지고 있다. AI 기술이 가속화되는 상황에서 소비자 보호와 아동 안전을 위한 표준 마련은 필수적 과제가 됐다.