AI가 미해결 수학 난제를 풀었다 — 문제를 '푸는' 것과 '증명하는' 것

이번 달 AI 뉴스 중 개인적으로 가장 놀란 건 모델 출시도, 가격 인하도 아니었습니다. AI가 아무도 풀지 못하던 수학 문제를 풀었다는 소식이었습니다.

무슨 일이 있었나

2026년 8월, OpenAI의 Astra 모델이 그동안 미해결로 남아 있던 수학·전산학 문제 열 개를 풀고, 완전히 검증된 증명을 공개 저장소(GitHub)에 올렸다고 보도됐습니다. 여기엔 군론(group theory)의 오랜 난제인 비(非)소픽 군(non-sofic group)의 존재를 보이는 구성, 그리고 구(sphere) 채우기 밀도의 새로운 상한을 특정 이론적 한계까지 좁힌 결과가 포함됐습니다.

더 인상적인 건 비용이었습니다. 이 결과를 얻는 데 든 계산 비용이 약 2천 달러 수준이었다고 합니다. 슈퍼컴퓨터를 몇 달 돌린 게 아니라, 그 정도 비용으로 새 정리를 만들어 냈다는 뜻입니다.

'푸는' 것과 '증명하는' 것은 다르다

여기서 한 가지를 분명히 하고 싶습니다. 그동안 AI가 수학을 잘한다는 말은 많았지만, 대부분은 이미 답이 있는 문제를 빠르게 푸는 것이었습니다. 시험 문제를 잘 맞히는 것과, 아무도 답을 모르던 걸 새로 증명하는 것은 차원이 다릅니다.

이번이 특별한 이유는 두 가지입니다.

새로움: 기존에 알려진 답을 재현한 게 아니라, 미해결 문제에 새 결과를 더했습니다.
검증 가능성: 결과를 말로만 주장한 게 아니라, 형식적으로 검증되는 증명을 함께 공개했습니다. 수학에서 증명은 누구나 따라가며 옳고 그름을 확인할 수 있습니다. AI가 "그럴듯한 말"을 지어낸 게 아니라는 걸, 사람이 검산할 수 있다는 뜻입니다.

왜 이게 중요한가

AI의 약점으로 늘 지적되던 게 **환각(hallucination)**입니다. 그럴듯하지만 틀린 말을 자신 있게 한다는 것이죠. 그런데 수학 증명은 그 약점이 통하지 않는 영역입니다. 틀린 증명은 검증 단계에서 바로 걸러지니까요.

즉 "검증 가능한 문제"에서는, AI가 틀리면 티가 나기 때문에 오히려 신뢰할 수 있는 도구가 됩니다. 코드가 그렇습니다. 테스트를 통과하는지로 옳고 그름이 갈리죠. 수학 증명도 마찬가지고요. 앞으로 AI가 가장 먼저, 가장 크게 쓸모를 낼 곳은 정답을 기계적으로 검증할 수 있는 분야일 겁니다.

과장은 경계하되

물론 조심할 점도 있습니다. 열 개의 문제는 선별된 것이고, 세상의 모든 난제가 곧 풀린다는 뜻은 아닙니다. 어떤 문제가 AI에게 잘 맞고 어떤 문제는 여전히 벽인지는 더 지켜봐야 합니다. 또한 증명을 사람이 검증하는 과정이 여전히 필요했다는 점도 잊으면 안 됩니다. AI가 혼자 북 치고 장구 친 게 아니라, 검증 가능한 형식으로 내놓았기에 신뢰받은 것입니다.

"AI가 수학자를 대체한다"는 식의 표현은 그래서 성급합니다. 더 정확한 그림은, 연구자가 훨씬 강력한 도구를 손에 쥐게 됐다는 것입니다. 가설을 던지고, 방향을 탐색하고, 지루한 구성을 대신 해 주는 조수 말이죠.

어떤 분야가 먼저 바뀔까

이 흐름의 수혜는 고르게 오지 않습니다. 정답을 기계가 검증할 수 있는 분야부터 먼저, 그리고 크게 바뀝니다. 수학 증명이 대표적이고, 소프트웨어(테스트가 통과하는가), 칩·회로 설계(시뮬레이션이 맞는가), 알고리즘 최적화(정말 더 빠른가) 같은 영역이 뒤를 잇습니다. 이런 곳에서는 AI가 수백, 수천 개의 후보를 던져도, 옳고 그름을 기계가 걸러 주니 사람은 "통과한 것들"만 보면 됩니다.

반대로 정답이 애매하고 취향이나 맥락이 개입하는 분야 — 글쓰기의 '좋음', 디자인의 '아름다움', 전략의 '옳음' 같은 것 — 는 여전히 사람의 판단이 중심에 남습니다. 검증이 자동화되지 않으니, AI가 아무리 많이 만들어 내도 결국 사람이 하나하나 골라야 하니까요. 그래서 'AI가 다 한다'가 아니라 검증 가능한 것부터 차례로 넘어온다고 보는 게 정확합니다. 내 일이 어느 쪽에 가까운지를 가늠해 보면, AI가 언제 어떻게 내 영역에 닿을지도 어렴풋이 그려집니다.

만드는 사람 입장에서

저는 이 소식을 "검증의 힘"으로 읽었습니다. AI를 실제 일에 붙일 때 가장 어려운 건 **"이 출력이 맞는지 어떻게 아느냐"**입니다. 채팅 답변은 맞는지 사람이 일일이 확인해야 하죠. 하지만 코드처럼, 수학처럼, 자동으로 옳고 그름을 판정할 수 있는 구조를 만들어 두면 AI는 폭발적으로 쓸모 있어집니다.

그래서 요즘 저는 새 기능을 설계할 때 "AI에게 맡길 부분에 검증 장치를 붙일 수 있는가"를 먼저 봅니다. 테스트, 스키마, 재현 가능한 파이프라인 같은 것들이요. 모델이 아무리 똑똑해져도, 그 똑똑함을 믿을 수 있게 만드는 건 결국 검증 구조입니다. 이번 수학 뉴스가 준 교훈도 딱 그것이었습니다.

정리

OpenAI Astra가 미해결 수학·전산학 문제 10개를 풀고 검증된 증명을 공개(계산 비용 약 2천 달러).
핵심은 "답 맞히기"가 아니라 "새로 증명하기", 그리고 사람이 검산 가능하다는 점.
AI의 환각 약점이 통하지 않는, 검증 가능한 분야에서 AI는 먼저 강력해진다.
대체가 아니라 강력한 조수. 그리고 만드는 사람에게 진짜 교훈은 "검증 구조를 붙여라".

참고 자료