[빅테크칼럼] 중국 AI, 10년 묵은 美 수학 난제 ‘앤더슨 추측’을 80시간 만에 깨다…인간 수학자의 종말 선언?

[뉴스스페이스=이종화 기자] 베이징대 연구팀이 순수 수학의 미해결 난제였던 ‘앤더슨 추측(Anderson’s conjecture)’을 인공지능(AI)만으로 80시간 만에 증명·검증하는 데 성공하면서, “연구 수준 수학 증명도 AI가 독자 수행하는 시대”가 열렸다는 평가가 나오고 있다. 4월 4일 공개된 arXiv 프리프린트에 따르면, 이 AI 시스템은 자연어 기반 추론부터 형식 검증까지 전 과정을 사실상 인간의 수학적 판단 없이 수행했으며, 최종 증명은 약 1만9000줄 분량의 Lean 4 코드로 형식화되었다. 10년간 풀리지 않던 ‘앤더슨 추측’ 앤더슨 추측은 미국 아이오와대 수학과 교수였던 댄 D. 앤더슨이 2014년 저서 ‘오픈 Problems in Commutative Ring Theory’에서 제기한 가환대수(특히 환 이론) 분야의 미해결 문제로, 특정한 ‘약한 조건’이 보다 강한 구조적 조건을 보장하는지 여부를 묻는 내용이었다. 앤더슨은 2022년 73세를 일기로 별세했으며, 그가 남긴 이 문제는 10년 가까이 국제 수학 커뮤니티에서 풀리지 않은 채 남아 있었다. 이번 베이징대 팀의 성과는 단순한 ‘해결’이 아니라, 해당 추측이 틀렸음을 보이는 반례(counterexample) 구성이라는 점에서 의미가 크다. 연구팀이 구축한 AI는 2006년 옌센(Jensen)이 발표한 ‘완비 국소 UFD와 generic formal fiber에 관한 정리’를 검색·활용해, 표면적으로는 다른 분과에 속한 정리에서 이 추측을 깨는 핵심 도구를 찾아냈다. 이중 에이전트 구조: Rethlas와 Archon 베이징대 수학자 동빈(董彬)이 이끄는 AI4Math 팀은 ‘이중 에이전트(dual-agent)’ 구조의 AI 프레임워크를 개발했다. 첫 번째 에이전트인 Rethlas는 자연어 수학 논문과 교과서를 읽고, 정리 검색 엔진 Matlas를 활용해 수천만 개의 수학 명제를 탐색하면서 증명 전략을 세우는 추론 엔진 역할을 맡는다. 두 번째 에이전트 Archon은 Rethlas가 구사한 비형식적(자연어) 증명을 형식 증명 시스템 Lean 4 코드로 옮기고, 논리적으로 완결된 형태로 검증하는 형식화 엔진이다. 연구진에 따르면, 이 시스템은 앤더슨 추측을 재구성하고, Matlas로 관련 이론을 검색한 끝에 옌센의 2006년 결과(국소 UFD의 완비와 trivial generic formal fiber에 관한 Corollary 2.4)를 찾아 이를 토대로 “약한 조건이 강한 조건을 보장하지 않는다”는 반례를 구축했다. 이어 Archon은 이 과정을 약 1만9000줄의 Lean 4 코드로 구현해 형식 검증을 완료했으며, 전체 연산 시간은 약 80시간에 불과했다. “수학적 판단 없이 80시간”…인간 협업을 대체한 속도 연구팀은 arXiv 논문에서 “문제 이해, 전략 탐색, 증명 구성, 형식 검증에 이르는 전 과정에서 인간 운영자의 수학적 판단은 사실상 필요하지 않았다”고 밝히며, 수학자가 중간에 개입했다면 속도는 오히려 더 빨라졌을 것이라고 평가했다. 사우스차이나모닝포스트(SCMP)에 따르면, 이 시스템이 수행한 작업은 통상 가환대수, 수론, 위상 등 서로 다른 전문 분야 수학자들의 장기간 협업이 필요했던 수준으로, AI가 이를 단일 프레임워크에서 80시간 만에 끝낸 셈이다. 이번 성과는 “중국산 AI가 자국 내 연구진 주도로 연구 수준의 수학 난제를 독자적으로 해결하고, 형식 검증까지 완료한 첫 사례”로 소개되며, 중국 대학의 AI·수학 융합 연구 역량 과시라는 정치·산업적 메시지를 동시에 담고 있다. GPT‑5.4·Axiom…수학계를 뒤흔드는 AI 물결 베이징대 사례는 고급 수학 문제를 겨냥한 AI 시스템의 가속 경쟁 속에서 등장했다. 2026년 초, 오픈AI의 GPT‑5.4는 2019년부터 FrontierMath 벤치마크에서 풀리지 않던 문제를 해결한 것으로 보고됐고, 이는 기존 대형언어모델이 시험·경시 수준을 넘어 ‘연구형 난제’에도 도전 가능한 단계에 도달했음을 시사한다. 또 다른 AI 스타트업 Axiom은 2월 자사 시스템 ‘AxiomProver’가 수년간 미해결이던 수학 문제 4개에 대해 엄밀한 증명을 제시했다고 밝혔는데, 여기에는 대위 천(Dawei Chen)과 콩탱 장드롱(Quentin Gendron)이 남긴 대수기하·수론 분야의 난제가 포함된 것으로 전해진다. Axiom 시스템은 자체 벤치마크에서 ‘이전 모델들이 사실상 0에 가까운 성공률을 보이던 미해결 문제의 약 20%를 해결했다’고 주장하며, 문헌 검토·단순화된 보조 문제 탐색·완전 해법 구성 등 인간 연구자의 사고 과정을 흉내 내는 행동을 보여줬다는 설명을 내놓았다. 이런 흐름 속에서 베이징대의 앤더슨 추측 해결은 “AI가 이제 단순 조수 수준을 넘어, 문헌 검색–아이디어 발굴–반례 구성–형식 검증까지 수학 연구 수명주기를 상당 부분 자동화할 수 있음을 보여준 대표 사례”로 받아들여지고 있다. 수학자는 앞으로 뭐하지?…수학자의 미션, 무엇이 남나 이번 성과를 두고 수학계에서는 기대와 우려가 교차한다. 한편에서는 “특정 분과에 갇혀 있던 인간 연구자와 달리, AI가 수십 년치 문헌과 서로 다른 분과의 정리들을 가로지르며 교차 활용함으로써 ‘전문가 간 깊은 교류’가 필요한 수준의 통섭형 아이디어를 빠르게 만들어낸다”는 점에서 긍정적으로 평가한다. 실제로 Rethlas가 옌센(2006)의 결과를 찾아 앤더슨 추측에 적용한 사례는, 평소 교류가 적은 두 분야를 잇는 ‘우연한 발견’을 체계적으로 재현했다는 의미를 갖는다. 반면, 아직 논문이 동료 심사를 거치지 않았고, 형식 검증이 완전무결하다고 해도 그 수학적 의미와 맥락을 해석하는 과정은 여전히 인간 수학자의 몫이라는 점에서 신중론도 나온다. 더 나아가 “연구 수학에서의 창의성, 문제 선정, 이론적 해석과 같은 상위 작업이 어디까지 기계화될 수 있는가”라는 철학적 질문도 본격화되고 있다. 다만 하나의 분명한 변화는 이미 시작됐다. 수십 년간 “인간만이 할 수 있다”고 여겨졌던 연구 수준의 증명 일부가, 이제는 AI의 연산 자원과 검색·추론 능력에 의해 80시간 만에 재현 가능해졌다는 사실이다. 향후 수학자는 “증명을 쓰는 사람”에서 “문제와 방향을 설계하고, AI가 생성한 방대한 증명 공간에서 의미 있는 구조를 읽어내는 사람”으로 역할이 이동할 공산이 크다. 이번 베이징대의 앤더슨 추측 해결은, AI가 인간보다 ‘똑똑해졌다’는 선언이라기보다, 수학이라는 가장 순수한 이성의 영역에서조차 인간–기계 공진화(co-evolution)의 새로운 국면이 열렸다는 신호에 가깝다. 한국 수학계와 연구기관 역시, AI를 수학 연구의 주변 도구로 볼 것인지, 아니면 증명·검증·문헌탐색을 포함한 ‘연구 파이프라인 전체’를 재설계하는 핵심 인프라로 수용할 것인지에 대한 전략적 선택을 더 이상 늦추기 어려워 보인다.