99.9%가 실린 그 문서에는 "AGI라고 주장하지 않는다"도 함께 적혀 있었습니다 — 하네스별 최고 점수가 62.7%와 99.9%인 같은 모델

"AGI"는 한 줄로 옮겨 적기 좋은 단어입니다. 저는 이번 건을 "AGI가 왔는가"가 아니라 그 단어의 근거로 인용된 벤치마크의 운영기관이 같은 날 반대 문장을 적어 둔 사건으로 읽었습니다.

그 말은 발표문이 아니라 브리핑에서 나왔습니다

2026년 9월 3일 OpenAI가 GPT-6 Astra를 공개했습니다. 발표문 첫 문단은 Astra가 "ARC-AGI-3를 99.9%로 saturate 한다"고 적었습니다. 다만 이 발표문에서 "AGI"는 ARC-AGI라는 벤치마크 이름 안에서만 나옵니다.

"AGI 시대"는 기자 브리핑에서 나왔습니다. Axios는 사장 Greg Brockman이 브리핑을 "Welcome to the AGI era"로 마무리했고, 개인적으로 AGI에 도달했다고 믿으며 판단은 사용자에게 남겨 둔다고 전합니다.

같은 날 그 벤치마크를 만든 쪽은 "AGI라고 주장하지 않는다"고 적었습니다

ARC Prize 블로그(Greg Kamradt, 03 Sep 2026)의 문장입니다. "이 벤치마크를 포화시키는 것이 'AGI 달성의 증거'가 되지는 않는다고 분명히 했다. 따라서 Astra가 의미 있는 진전이라고 보면서도, 우리는 이것이 AGI라고 주장하지 않는다."

같은 글은 Astra를 "눈에 띄는 계단식 변화"라고도, ARC-AGI-3가 "범위와 형식이 좁게 한정"돼 있다고도 적었습니다.

99.9%는 다른 하네스의 값이고, 가장 센 설정의 값도 아닙니다

ARC Prize가 실은 숫자는 둘입니다. Standard 하네스에서 Astra(max)가 ARC-AGI-3 Semi-Private 62.7%($26,098), Provider Adapter 하네스에서 Astra(high)가 99.9%($18,817)입니다.

99.9%는 high의 값입니다. 같은 하네스의 max는 **98.6%**입니다. effort를 올리면 비용은 대체로 내려갑니다. 더 적은 행동으로 풀어 호출과 토큰이 줄기 때문이라고 적었습니다.

ARC Prize는 두 하네스가 서로 다른 질문에 답한다고 설명합니다. Standard 쪽에는 "미래의 AGI라면 이 조건에서 풀 수 있어야 한다고 믿는다"고 적혀 있고, 그 조건의 점수가 62.7%입니다.

OpenAI 표의 한 행에 두 하네스의 값이 나란히 있습니다

어느 숫자가 어디에 적혀 있는지만 옮긴 개념도입니다. 오른쪽 값은 2026년 9월 5일 07:49 KST에 읽은 결과 페이지의 값입니다.

OpenAI 발표문의 Abstract reasoning 표에서 ARC-AGI-3 행은 Astra 99.9%, Sol 7.8%, Opus 5 **30.2%**이고, 어느 하네스인지 표기가 없습니다.

**2026년 9월 5일 07:49(KST)**에 ARC Prize 결과 페이지를 열어 대조했습니다. Astra 페이지에는 Standard harness와 Provider Adapter harness 두 열이 있고, Sol·Opus 5 페이지에는 하네스 구분 열이 없습니다. 그 두 모델의 7.78%·**30.16%**는 소수점까지 위 표와 맞습니다. OpenAI가 하네스를 섞었다고 인정한 문서는 없고, 확인된 것은 같은 숫자가 ARC Prize 쪽에 Standard 값으로 실려 있다는 데까지입니다.

평가 예산도 다릅니다. Astra 페이지는 12개 하네스 구성, Opus 5 페이지는 2개 reasoning 변형이고 "짧은 테스트 기간 때문에 ARC-AGI-3는 High에서만 평가했다"고 적혀 있습니다. 이틀 전 글이 한 표 안의 오차 범위였다면, 이번은 표 자체가 다른 조건입니다.

조건을 맞춰도 Astra가 1위입니다

Opus 5는 ARC-AGI-3를 High에서만 평가했는데, 같은 High끼리 놓아도 Astra의 Standard 점수는 **54.8%**로 위입니다. 요점은 99.9%와 30.2%를 한 줄에 놓으면 그 격차가 전부 모델 격차로 읽히지만 일부는 하네스 격차라는 것입니다. 이틀 전에는 회사가 자기 기준으로 자기 등급을 매긴 이야기였고, 이번은 OpenAI가 아닌 제3자의 문서입니다. 두 곳의 자금·계약 관계는 확인하지 못했습니다.

만드는 쪽에서 옮겨 적을 것

점수를 옮길 때 조건을 같이 적습니다. OpenAI 표에 틀린 값은 없고 하네스가 적혀 있지 않을 뿐입니다. 열 제목 한 줄이면 사라집니다.
가장 센 설정이 최고 점수가 아닐 수 있습니다. high가 max보다 높았고, effort를 올리면 비용은 내려갔습니다.
모델 교체보다 컨텍스트 관리를 먼저 봅니다. Provider Adapter가 한 일은 추론 상태 보존과 compaction인데, Public·Semi-Private의 모든 설정을 통틀어 두 하네스가 모두 푼 167개 쌍 기준으로 약 3.66배 빨랐고 토큰을 49% 적게 썼습니다.

정리

"AGI 시대"는 브리핑 발언이고, Axios는 사장의 개인 견해로 적었습니다.
벤치마크 운영기관은 "AGI라고 주장하지 않는다"고, 동시에 "계단식 변화"라고도 적었습니다.
99.9%는 Provider Adapter의 high 값이고, Standard에서는 **62.7%**입니다.
조건을 맞춰도 Astra가 1위(62.71% 대 30.16% 대 7.78%)입니다.

참고 자료