[뉴스스페이스=이종화 기자] 펜실베이니아대학교 공과대학 연구진이 역편미분방정식(inverse PDE) 문제를 기존보다 6~10배 적은 메모리와 시간으로 풀어내는 새로운 인공지능(AI) 기법 ‘몰리파이어 레이어(Mollifier Layers)’를 개발했다.

phys.org, arxiv.org, tun.com에 따르면, 이 소식이 알려지면서 수학·과학계의 이목이 쏠리고 있다. 이번 연구는 머신러닝 분야 국제 학술지인 《Transactions on Machine Learning Research》에 게재됐으며, 2026년 인공지능 최고 권위 학회 가운데 하나인 NeurIPS 2026에서 발표될 예정이다.

역편미분방정식, ‘연못 물결로 돌 위치 찾기’ 난제

역편미분방정식은 “결과를 보고 원인을 역추적하는” 전형적인 역문제다. 고전적인 편미분방정식(PDE)이 ‘법칙(방정식)과 초기조건을 알 때 미래 상태를 예측’하는 순방향 문제라면, 역편미분방정식은 온도, 압력, 농도, 이미지 등 관측 데이터를 기반으로 그 뒤에 숨겨진 계수, 반응속도, 경계조건을 되짚어내는 작업이다.

연구 책임자인 비벡 쉬노이(Vivek Shenoy) 교수는 이를 두고 “연못의 물결만 보고, 어디에 어떤 크기의 돌이 떨어졌는지 역으로 추론하는 것”에 비유한다. 기후 모델링, 재료과학, 유체역학, 의료영상, 유전자·크로마틴 동역학 등 관측 데이터는 넘쳐나지만, 그 데이터가 어떤 미분방정식을 통해 만들어졌는지 역으로 추론하는 것이 핵심 난제라는 설명이다.

현재까지 역편미분방정식을 풀기 위해 널리 쓰여온 방식은 ‘재귀적 자동미분(recursive automatic differentiation)’을 신경망에 붙이는 것이다. 미분 연산을 여러 차례 중첩해 고차 편미분까지 계산하는 구조인데, 잡음이 많은 실험·관측 데이터를 포함하는 고차 PDE로 갈수록 수치적으로 불안정해지고, 메모리 사용량과 연산시간이 기하급수적으로 늘어난다.

특히 2차, 4차 이상의 고차 미분항을 갖는 방정식을 다룰 때 GPU 메모리를 수십 기가바이트 단위로 요구하는 경우가 적지 않다는 것이 연구진의 문제의식이다.

‘몰리파이어’로 미분을 합성곱 하나로 축약

펜실베이니아대 연구진은 병목을 신경망 구조가 아닌 ‘미분 연산 방식’ 자체에서 찾았다. 그들이 끌어온 개념은 수십 년 전 수학자 쿠르트 오토 프리드리히스(Kurt Otto Friedrichs)가 1940년대에 도입한 ‘몰리파이어(mollifier)’다. 몰리파이어는 함수에 매끄러운 커널을 합성곱(convolution)해 노이즈를 줄이고 미분가능성을 부여하는 고전적 평활화 도구다.

연구진이 제안한 ‘몰리파이어 레이어’는 신경망의 출력층에 부착되는 특수 레이어로, 기존처럼 네트워크 내부에서 고차 미분을 재귀적으로 계산하지 않고, 한 번의 합성곱 연산으로 필요한 미분 정보를 얻도록 설계됐다. 이로 인해 역편미분방정식을 풀 때 필요한 메모리 사용량과 학습 시간이 6~10배 가까이 줄어들면서도, 예측 정확도와 수치적 안정성은 오히려 향상되는 것으로 보고됐다. 쉽게 말해, “수십 단계의 미분 그래프를 쌓아 올리던 일을, 잘 설계된 하나의 평활화 필터로 대체했다”는 것이다.

공동 제1저자 아난야에 쿠마르 바르타리(Ananyae Kumar Bhartari)는 처음에는 신경망 아키텍처가 병목이라고 의심했지만, 실험을 거듭하며 실제 문제는 재귀적 미분 구조에 있음을 확인했다고 밝혔다. 미분을 합성곱 기반의 몰리파이어로 치환하면서, 고차 PDE를 다루는 신경망이 잡음에 훨씬 덜 민감해지고, 동시에 GPU 메모리 사용량도 현저히 줄어드는 효과를 얻었다는 설명이다.

크로마틴 생물학에서 기후·재료과학까지 파급

이번 연구는 쉬노이 연구실이 수행해온 크로마틴 생물학 연구의 계산 플랫폼을 업그레이드하는 데서 출발했다. 크로마틴은 약 100나노미터 규모의 접힌 DNA 도메인 구조로, 이 미세한 3차원 구조 변화가 유전자 발현과 세포 운명을 좌우한다는 것이 현대 분자생물학의 기본 가설이다.

연구진은 현미경으로 관측되는 정적인 이미지 데이터만으로는 노화, 암, 발생 과정에서 크로마틴 구조가 시간에 따라 어떻게 재배열되는지, 그 배후의 ‘후성유전학적 반응 속도(epigenetic reaction rates)’를 추정하는 데 한계가 있다고 지적한다.

몰리파이어 레이어를 적용하면, 크로마틴의 시간에 따른 형상 변화를 기술하는 PDE를 세우고, 실제 관측 이미지로부터 해당 PDE에 들어가는 반응속도와 계수를 역으로 추론할 수 있게 된다. 공동 제1저자 비나약 비나약(Vinayak Vinayak)은 “만약 반응 속도가 크로마틴 조직과 세포 운명을 결정한다면, 그 속도를 조절함으로써 세포를 원하는 상태로 재프로그래밍할 수 있는 길이 열린다”고 말했다.

구체적인 수치나 임상 적용까지는 아직 초기 단계이나, 역편미분방정식의 안정적 해법이 후성유전·암 연구의 설계 도구가 될 수 있다는 점에서 파급력 있는 방향 제시로 평가된다.

연구진은 응용 분야를 크로마틴에만 한정하지 않는다. 고차 미분항과 잡음이 많은 데이터를 동시에 다뤄야 하는 재료과학, 유체역학, 기상·기후 예측 등 거의 모든 영역이 잠재적 수혜 분야로 거론된다.

예를 들어 대기·해양 순환 모델의 경우, 난류, 확산, 대류 등 복잡한 물리과정을 PDE로 표현하고, 관측된 기상·기후 데이터로부터 난류 점성 계수 등의 효과적 파라미터를 역추정하는 작업이 필요하다. 기존에는 수치 불안정과 계산 부담 때문에 고해상도 역추정이 제한적이었지만, 몰리파이어 레이어가 이 병목을 줄일 수 있을지 주목된다.

AI, ‘수학 난제 해결자’로 진화하는 흐름 속에서

이번 펜실베이니아대 연구는 최근 몇 년간 AI가 수학·물리 난제 해결 도구로 부상하는 흐름의 연장선상에 있다. 구글 딥마인드가 형식 증명 도구와 결합한 추론형 AI로 복잡한 수학 정리의 증명 보조에 나선 데 이어, 최적화 문제에 특화된 ‘알파이볼브(AlphaEvolve)’가 상한·하한, 최댓값·최솟값을 찾는 새로운 해법의 가능성을 보여준 바 있다. 한국 수학자가 참여한 AI 에이전트가 40년간 미해결이던 에르되시(Erdős) 난제 일부를 해결했다는 보도도 이미 등장했다.

이런 흐름 속에서 몰리파이어 레이어는 ‘정리 증명’이 아닌 ‘편미분방정식 기반 물리·생물 시스템의 역추론’이라는 또 다른 축에서, AI가 기존 수치해석 기법을 구조적으로 재설계할 수 있음을 보여준 사례로 읽힌다. 단순히 연산 능력을 늘리거나 더 큰 신경망을 쓰는 것이 아니라, 1940년대 고전 해석학의 도구였던 몰리파이어를 2020년대 딥러닝 아키텍처에 이식함으로써, 계산 복잡도와 메모리 사용량을 한 번에 줄였다는 점이 눈에 띈다.

쉬노이 교수는 “어떤 시스템을 지배하는 규칙을 이해하면, 그 시스템을 바꿀 가능성도 열린다”고 강조한다. 관측 데이터에서 출발해 PDE 수준까지 법칙을 재구성하고, 다시 그 법칙을 조작해 물질·세포·기후 시스템을 설계하려는 시도가 본격화되는 신호탄으로, 펜실베이니아대의 이번 연구를 읽을 수 있다.