[뉴스스페이스=김정영 기자] 오픈AI의 최고경영자(CEO) 샘 올트먼이 최근 스탠퍼드 대학에서 진행된 인터뷰에서 AI 개인화가 심화됨에 따라 새롭게 대두되는 보안 위험에 대해 경고했다.

점차 사용자 개개인의 데이터를 학습해 맞춤형 서비스를 제공하는 AI 기술이 민감한 개인정보 유출 가능성을 높이고 있으며, 이는 AI 분야의 다음 발전 단계에서 가장 중대한 보안 과제가 될 것이라고 설명했다.​

올트먼은 특히 사용자가 AI와의 대화 기록, 연결된 외부 서비스(이메일, 쇼핑 등)를 통해 AI가 개인 생활을 폭넓게 ‘기억’하게 되는 점을 지적했다. 이러한 개인화 기능은 사용자 경험을 개선하지만, 동시에 모델이 개인의 프라이버시 정보를 해킹이나 데이터 탈취 공격에 노출될 위험도 커진다고 경고했다.

예를 들어, AI 비서가 이전 대화에서 수집한 의료 정보를 온라인 구매 과정에서 무심코 노출할 수 있다는 것이다. 올트먼은 “사람은 맥락을 이해하지만 AI는 사적인 정보와 일반적인 맥락을 구분하기 어렵다”며, “개인 모델에서 모든 것을 알고 있는 정보를 빼내가는 데이터 유출을 완벽히 방지하는 것은 AI 보안에서 가장 어려운 목표 중 하나”라고 말했다.​

더욱이, AI 시스템이 점점 더 지능적이고 맞춤화되면서 외부 공격자가 악의적 목적으로 프롬프트 변조나 데이터 변형을 시도하는 ‘적대적 강건성’ 문제도 심각해지고 있다. 올트먼은 이런 보안 문제 해결이 매우 어렵지만, 동시에 AI 보안 분야는 장래성 있는 연구 및 경력 분야임을 강조하며, AI 조직들이 이제 대규모 보안 전문 인력을 갖추어야 할 시점이 도래했다고 말했다.​

올트먼은 다만 AI가 자신이 야기하는 보안 위협을 방어하는 도구가 될 수 있다는 점에도 주목했다. 이미 오픈AI를 비롯한 여러 AI 기업은 AI 모델을 활용해 소프트웨어 취약점을 탐지하고 코드를 점검하는 데 적극 활용 중이며, AI는 사이버 공격과 방어 양면에서 핵심 역할을 하게 될 것이라고 밝혔다.​

AI 개인화 보안 위협 실제 통계와 현황

스탠퍼드 대학이 발표한 2025 AI 인덱스 보고서에 따르면, 인공지능 관련 보안 사고는 2024년 단 1년 사이에 56.4%나 급증했으며, AI를 통한 개인정보 침해와 데이터 유출 사례가 더욱 빈번해지고 있다. 기업의 64%는 AI의 부정확성에 불안을 느끼고 있고, 63%는 규정 준수 문제, 60% 이상은 사이버 보안 취약점을 우려하고 있지만 정작 실효성 있는 대책을 내놓는 곳은 적다. 이는 AI 보안 분야 인력과 기술이 아직 충분히 준비되지 않았음을 방증한다.​

또한 글로벌 데이터에 따르면 2024년 하반기 기준 피싱 이메일은 202% 증가했고, AI 기반의 피싱 공격은 실제로 700% 이상 늘어나면서, AI가 악용되는 새로운 사이버 범죄 양상이 확산되고 있다. 딥페이크 기술을 이용한 금융 사기는 2000% 이상 증가했으며, 유튜브 등 주요 플랫폼에서 AI를 이용한 조작 콘텐츠 노출 역시 급증하는 추세다.​

샘 올트먼의 경고는 AI 기술의 진보가 사용자에게 더 나은 맞춤 경험을 선사하는 동시에, 악의적인 해커에게는 새로운 공격 루트를 제공한다는 사실을 명확히 보여준다. AI 개인화로 인한 보안 취약점을 근본적으로 해결하기 위해선 AI 연구와 운영 단계에서 강력한 보안 설계와 감독, 그리고 고도의 전문 인력 양성이 필수적이다. 또한 AI 자체를 활용한 보안 강화 기술 개발 역시 병행되어야 한다.

앞으로 AI 시스템의 개인화와 보안은 사용자의 프라이버시 보호와 AI 활용 확대 사이의 균형을 맞추는 핵심 이슈로 부상할 전망이다. 이에 IT 기업과 정책 당국은 철저한 사전 대비와 규제 체계 마련에 속도를 내야 할 것이다.