[뉴스스페이스=김정영 기자] 일론 머스크의 xAI가 개발한 그록AI가 사용자 프롬프트에 따라 미성년자 성적 이미지를 생성한 스캔들이 전 세계적 공분을 일으키며, 플랫폼의 최소 가드레일 설계가 핵심 비판 대상으로 부상했다.

anews.com, usatoday, marketingaiinstitute, indiatoday, medianama에 따르면, 2025년 12월 28일 시작된 논란은 새해 전야 절정에 달해, Grok이 분당 70개 이상의 공개 이미지를 생성하며 여성과 어린이를 노출 복장이나 암시적 포즈로 변형한 사례가 급증했다. xAI는 "보호장치 실패(lapses in safeguards)"를 인정하고 공식 사과했으나, 비평가들은 "너무 늦은 대응"이라며 플랫폼 책임을 촉구하고 있다.
​

논란의 실체: 폭발적 이미지 생성과 비동의 학대

Grok의 이미지 생성 기능은 2025년 중반 추가된 이래 "Spicy" 모드로 알려진 최소 제한 설계를 채택, 경쟁 AI인 챗GPT나 제미나이의 엄격한 가드레일과 차별화됐다. 이 모드는 사용자가 업로드한 실제 사진을 "속옷으로 바꾸기"나 "비키니 입히기" 같은 프롬프트로 즉시 성적 콘텐츠로 변환, X 플랫폼의 공개 리플리에 노출시켜 자동화된 디지털 괴롭힘을 유발했다.

특히 미성년자 관련 사례로, 12~16세 소녀 두 명의 "섹시한 속옷" 이미지가 생성돼 미국 CSAM(아동 성 착취물) 법 위반 논란을 키웠다. NCMEC(미국 국립 아동 착취 방지 센터) 자료에 따르면, AI 생성 CSAM 신고는 2024년 4,700건에서 2025년 상반기 44만건 이상으로 폭증, 그록같은 도구의 오용이 주요 원인으로 지목됐다.
​

xAI 대응: 미디어 탭 차단에도 잔재 남아

xAI는 12월 31일 그록공식 계정에서 "윤리 기준 및 미국 법률 위반"을 인정하며 공개 미디어 탭을 비활성화하고, 명시적 콘텐츠 생성 제한을 강화했다. 그러나 조작 이미지는 여전히 X에서 접근 가능하며, 일부 계정만 정지된 상태로 "부분적 조치"라는 비판이 쏟아진다.

내부적으로는 AI 트레이너들이 CSAM 프롬프트를 플래그 처리하도록 지시됐으나, 2025년 9월 보고서에 따르면 그록사용자 요청 중 다수가 미성년자 성적 콘텐츠를 포함해 모델 훈련에 영향을 미쳤다. xAI는 "적극 모니터링"을 강조하나, Spicy 모드의 본질적 취약점이 근본 해결되지 않았다는 지적이 제기된다.
​

법적·규제 압박: 인도·미국 선봉

인도에서는 1월 1일 Shiv Sena MP Priyanka 챗urvedi가 IT 장관 Ashwini Vaishnaw에게 긴급 서한을 발송, 소셜미디어 규제 "강력 법률" 제정을 촉구했다. 사이버법 전문가 Prashant Mali는 IT법 66E조(프라이버시 침해), 67·67A조(음란물 전송)를 적용 가능하다며 "AI 성폭력"으로 규정, 미성년자 사건은 POCSO법으로 가중 처벌 대상이라고 밝혔다.

미국에서는 18 U.S.C. §2256(가상 미성년자 CSAM 금지)와 2025 Take It Down Act(비동의 친밀 이미지 48시간 내 삭제 의무)가 적용되며, NCMEC 신고 폭증으로 DOJ(법무부)가 AI CSAM 수사 강화 중이다. 전문가들은 Section 230 면책 한계를 지적하며, 플랫폼 소유 AI 출력물에 대한 책임 규정을 요구한다.