외부 벤치마크 결과,내부 발표와 큰 차이

공개 모델은 “실제 테스트용과 다르다” 해명

“25% 수치,실제 모델과 달라”…오픈AI ‘o3’ 성능 논란 확산 [그림=챗GPT]

오픈AI의 최신 인공지능 모델 ‘o3’를 둘러싼 성능 논란이 확산되고 있다. 회사 측이 지난해 12월 발표 당시 “25% 이상”이라고 주장했던 수학 벤치마크 성능이,실제 공개된 모델에서는 10% 수준에 그친 것으로 나타났기 때문이다.

21일 테크크런치에 따르면 이 논란은 AI 연구기관 ‘에포크AI(Epoch AI)’가 지난 4월 18일,자체 수학 벤치마크인 ‘프론티어매스(FrontierMath)’에서 o3를 평가한 결과를 공개하면서 불거졌다. 해당 테스트에서 o3는 약 10%의 정답률을 기록했다. 이는 오픈AI가 작년 말 제시한 수치보다 절반 이하로 낮은 수준이다.

당시 오픈AI 최고연구책임자 마크 첸은 라이브스트리밍에서 “현재 어떤 모델도 프론티어매스에서 2%를 넘지 못하지만,우리는 내부 테스트에서 25% 이상을 달성했다”고 강조했다. 하지만 이번에 에포크AI가 확인한 결과는 이러한 주장을 뒷받침하지 못하고 있다.

이에 대해 오픈AI는 명확한 입장을 내놓지는 않았지만,내부적으로 사용한 모델이 더 높은 연산자원을 사용하는 버전이었다는 점을 시사하고 있다. 실제로 오픈AI 기술팀의 웬다 저우는 최근 스트리밍에서 “현재 운영 중인 o3 모델은 실제 사용자 환경에 최적화된 버전으로,테스트용 버전보다 빠르지만 연산량은 적다”라고 밝혔다. 그는 “보다 실용적이고 비용 효율적인 모델로 조정했다”라고 덧붙였다.

에포크AI 역시 테스트 차이에 대해 “오픈AI가 더 강력한 내부 스캐폴드(scaffold)와 연산을 사용했을 가능성이 있으며,문제 세트 구성도 다르다”라고 설명했다. 또한,오픈AI와 협력한 ARC Prize 재단도 “공개된 o3는 우리가 사전 테스트한 모델과 다르며,제품용으로 튜닝된 모델”이라고 전했다.