[뉴스스페이스=이승원 기자] 오픈AI가 비공개 내부 AI 모델과 약 1만 개의 병렬 에이전트를 동원해 88시간 만에 나비에-스토크스 존재성과 매끄러움 문제를 풀었다고 주장하자, 세계 수학계는 ‘성과’보다 검증·공로·연구윤리의 붕괴 가능성을 먼저 문제 삼고 있다.

특히 필즈상 수상자 25명이 낸 공동성명은 AI가 수학 난제를 푸는 속도 자체가 위험하다는 뜻이 아니라, 기업의 경쟁 논리가 증명 검증과 지식 전승이라는 수학의 핵심 제도를 압도할 수 있다는 경고다.

techcrunch, businessinsider, cnbc, straitstimes, fortune, scientificamerican, gadgets360에 따르면, 오픈AI는 9월 8일 공개한 설명에서 비공개 차세대 모델이 구동한 다중 에이전트 체계를 이용해 나비에-스토크스 문제의 해법을 찾았다고 밝혔다. 회사 설명에 따르면 문제 해결에 참여한 그룹에는 약 1만 개의 동시 실행 에이전트가 투입됐고, 첫 에이전트가 작동한 뒤 약 88시간 만에 해법에 도달했다. 에이전트들은 캐시된 인터넷 자료를 읽고 코드를 실행할 수 있었으며, 소그룹 단위로 메시지를 교환하며 여러 증명 경로를 병렬 탐색했다.

나비에-스토크스 방정식은 물·공기 등 유체의 흐름을 기술하는 편미분방정식이다. 항공기 설계, 기상예측, 해양·대기 모델, 난류 연구 등 현대 과학기술의 광범위한 영역에서 활용되지만, 3차원 상황에서 매끄러운 초기 조건을 가진 해가 항상 매끄럽게 유지되는지, 아니면 유한 시간 안에 특이점이 발생하는지는 증명되지 않았다. 오픈AI는 자사 결과가 특정 조건에서 유체 속도 등이 유한 시간 안에 무한대로 발산하는 ‘블로업(blow-up)’ 가능성을 보인다고 주장했다.

문제의 상징성은 매우 크다. 미국 클레이수학연구소(CMI)는 2000년 수학의 대표적 미해결 문제 7개를 ‘밀레니엄상 문제’로 선정하고 문제당 100만 달러, 총 700만 달러의 상금을 책정했다. 나비에-스토크스 문제는 그 7개 가운데 하나다.

그러나 ‘AI가 88시간 만에 풀었다’는 표현은 대중적으로는 강렬하지만, 수학적으로는 아직 결론이 아니다. 수학의 증명은 계산 결과나 모델의 자기평가가 아니라, 전문 연구자들이 논문의 가정·보조정리·논리적 연결고리를 장기간 검토하고 재현·단순화·확장하는 과정을 거쳐야 비로소 학문적 정설에 편입된다. CMI 역시 이 문제를 공식적으로 해결된 것으로 인정했다는 발표를 하지 않았다.

‘정답’보다 중요한 것은 증명의 계보

논란을 더욱 키운 것은 오픈AI의 발표 직전 제기된 우선권과 데이터 출처 문제다. 뉴욕대 쿠런트연구소의 트리스탄 버크마스터 교수는 앤트로픽 소속 수학자 레벤트 알푀게와 함께 1년가량 관련 문제를 연구해 왔으며, 그 과정에서 오픈AI의 Codex와 앤트로픽의 Claude 등 여러 AI 모델을 사용했다고 밝혔다. 두 연구자는 나비에-스토크스 문제와 연결된 유체역학 문제들에서 중요한 진전을 냈다고 발표했다.

버크마스터는 자신과 알푀게의 진행 상황에 관한 정보가 오픈AI에 전달됐다는 얘기를 들었으며, 자신들이 택한 접근과 오픈AI의 접근이 유사하다는 의혹을 제기했다. 다만 그는 “오픈AI의 증명을 보지 못했고, 그 모델이 무엇을 했는지 또는 자신들의 데이터가 이용됐는지 알지 못한다”며 데이터 사용을 단정하거나 직접적인 부정을 확정적으로 제기한 것은 아니라고 선을 그었다. 

오픈AI는 자사 연구진과 AI 에이전트가 두 연구자의 작업을 공개 전까지 어떤 방식으로도 보지 못했으며, 특정 사용자 데이터에 접근해 문제를 푼 것은 아니라고 반박했다. 다만 회사는 두 연구자의 제품 사용에서 유래한 비식별화 데이터가 모델 개선에 기여했을 가능성까지 완전히 배제할 수는 없다고 밝혔다.

이는 법적·윤리적 쟁점을 한층 복잡하게 만든다. 직접적으로 특정 연구 파일을 열람하지 않았더라도, 사용자가 입력한 고난도 연구 내용이 비식별화·집계 형태로 모델 학습 및 성능 개선에 반영될 수 있다면, AI 서비스 이용약관·옵트아웃 정책·학술 연구의 기밀성은 새로 정립돼야 한다는 의미이기 때문이다.

컴퓨팅 자원의 비대칭도 핵심 쟁점이다. 테크크런치는 오픈AI의 해당 연구가 한 주 동안 약 3000억 출력 토큰을 사용했으며, 당시 공개 모델 요율을 적용하면 약 2250만 달러 상당의 컴퓨팅 비용으로 환산될 수 있다고 보도했다. 이는 외부 검증을 거치지 않은 추정치이며 실제 오픈AI 내부 원가와 동일하다고 볼 수는 없다. 그럼에도 소수의 AI 기업만 동원할 수 있는 대규모 연산 자원이 유망한 수학 연구의 우선권 경쟁을 재편할 수 있다는 문제의식은 분명해졌다.

필즈상 25명의 경고, “수학은 OX 생산 공장이 아니다”

이런 맥락에서 테런스 타오를 포함한 필즈상 수상자 25명은 9월 11일 공동성명 ‘수학에서 AI의 심각한 목표 불일치(A Severe Misalignment of AI in Mathematics)’를 발표했다. 공동성명에는 피에르 들리뉴, 피터 숄체, 마리나 비아조프스카, 허 준, 만줄 바르가바, 세드리크 빌라니 등 현대 수학계를 대표하는 연구자들이 초기 서명자로 이름을 올렸다.

이들의 주장은 AI를 수학에서 배제하자는 단순한 기술 거부론과는 거리가 있다. 성명은 "AI가 진정한 수학 연구와 이해를 증진·가속할 잠재력을 갖고 있다"고 명시했다. 그럼에도 "AI 기업이 유명 난제 해결을 모델 성능의 벤치마크로 삼는 방식은 수학이라는 학문과 수학 공동체에 해롭고, 양측의 목표가 심각하게 불일치한다”고 지적했다.

수학자들이 우려하는 것은 결과의 정오(正誤)만 남는 환경이다. 수학에서 유명 난제는 단순히 맞는 답을 맞히는 시험문제가 아니다. 난제를 푸는 과정에서 새로운 개념, 기법, 추상화, 다른 문제로 확장되는 도구가 만들어지고, 그 성과는 세미나·논문·동료 검토·교과서화를 거쳐 후속 세대에 전해진다. 공동성명은 문제 해결 자체가 궁극적 목적이 아니라 개념적 이해와 통찰에 이르는 수단이라고 강조했다.

특히 이들은 AI가 대량으로 ‘참·거짓’ 명제를 생산하는 방식이 오히려 새로운 아이디어가 자라나는 토양을 파괴할 수 있다고 경고했다. 신속한 발표는 충분한 논문 작성, 새로운 방법의 분리와 설명, 선행 연구 인용을 위한 시간을 빼앗고, 결과적으로 저작권·공로 배분·표절 문제를 일으킬 수 있다는 것이다. 공동성명은 인간 수학자들이 AI가 생성한 아이디어를 발전시키고 수학적 정전으로 통합하지 않는다면 그 아이디어는 완전히 살아 있는 수학이 되지 못한다고 지적했다.

AI 수학의 분기점, ‘발표 경쟁’에서 ‘검증 인프라’ 경쟁으로

이번 사태는 AI 수학 연구가 향후 어떤 제도적 장치를 갖춰야 하는지를 보여주는 시험대가 될 전망이다. 첫째, 난제 해결을 주장하는 AI 기업은 인간 연구자 논문과 마찬가지로 전체 증명, 사용한 정의와 가정, 모델·도구 접근 로그, 기계검증 코드, 외부 검토 이력 등을 가능한 범위에서 공개해야 한다. 특히 ‘AI가 풀었다’는 주장을 모델의 능력 홍보 문구가 아니라 독립적 재현이 가능한 연구 산출물로 전환해야 한다.

둘째, AI 도구를 사용한 연구의 데이터 거버넌스를 분명히 해야 한다. 연구자가 코딩 보조도구나 대화형 모델에 입력한 미공개 증명 아이디어가 모델 개선에 사용되는지, 어떤 조건에서 제외할 수 있는지, 기업 내부 연구진이 그 산출물에 기술적으로 접근 가능한지 등을 연구자에게 명확히 알려야 한다. ‘특정 데이터에 직접 접근하지 않았다’는 해명만으로는, 학습 데이터·서비스 로그·모델 출력 사이의 경계를 둘러싼 불신을 해소하기 어렵다.

셋째, 공로 인정의 규칙도 바뀌어야 한다. 수학에서는 최종 정리만큼이나 아이디어의 기원, 선행 결과, 중간 보조정리, 증명기법의 발전 과정이 중요하다. 대규모 AI 에이전트가 수백만 회의 상호작용을 통해 결과를 도출하는 환경에서는 연구 책임자, 모델 개발자, 계산 자원 제공자, 선행 아이디어를 낸 외부 연구자, 검증을 수행한 수학자의 기여를 한 줄의 저자 표기로 처리하기 어렵다. 따라서 AI 보조 연구에 맞는 기여도 표준과 독립적 우선권 심사 체계가 필요하다.

오픈AI의 나비에-스토크스 주장이 최종적으로 맞는지, 그리고 CMI가 이를 공식 해법으로 인정할지는 현재로서는 알 수 없다. 그러나 이미 분명해진 사실은 있다. AI가 수학의 난제를 공략하는 시대에 경쟁의 기준은 ‘누가 먼저 발표했는가’가 아니라 ‘누가 더 투명하게 증명하고, 더 공정하게 공로를 배분하며, 더 넓은 공동체가 이해할 수 있는 지식으로 남겼는가’가 돼야 한다는 점이다.