이번 평가는 벤치마크(40점), 전문가 평가(35점), 이용자 평가(25점) 세 항목을 종합해 이뤄졌다. 벤치마크 평가에서 4개 팀 평균은 22.5점, 1위와 4위 격차는 4.0점이었다. 전문가 평가는 평균 28.8점에 격차 2.4점, 이용자 평가는 평균 17.6점에 격차 5.0점이었다. 세 항목 중 격차가 가장 컸던 것은 이용자 평가다.
|
![[박용후/관점 디자이너]](https://image.edaily.co.kr/images/photo/files/NP/S/2026/08/PS26081900834.jpg)
수치를 더 들여다보면 이번 발표의 가장 날카로운 대목은 ‘격차’가 아니라 ‘역전’이다. 모티프테크놀로지스의 ‘Motif 3’는 글로벌 AI 성능 지수인 AAII(아티피셜 애널리시스 인텔리전스 인덱스)에서 47점을 받아 4개 팀 중 1위, 전 세계 모델 기준 10위에 올랐다. 업스테이지(37점)·SK텔레콤(35점)·LG AI연구원(31점)을 압도한 성적이다.
그럼에도 모티프는 탈락했다. 국내 벤치마크 테스트와 전문가·사용자 평가에서 1차 평가를 통과한 3개 팀을 앞서지 못한 데 따른 것으로 풀이된다. 정부는 세 평가 영역별 1위 팀이 모두 달랐고, 일관되게 1등을 한 기업은 없다고 설명했다. 최고의 글로벌 벤치마크 성능을 가진 팀이 ‘사용성’과 ‘활용성’이라는 벽에 막혀 떨어진 것이다. 이것이 이번 2차 평가의 실질적 스토리다.
AAII 16점 차이는 어떻게 벤치마크 4점 차이로 줄었나
그런데 여기서 납득하기 어려운 숫자가 하나 있다. AAII 원점수에서 1위 모티프(47점)와 4위 LG(31점)의 격차는 무려 16점인데, 정작 벤치마크 평가(40점)의 1·4위 격차는 4.0점에 그친다. 16점짜리 성능 격차가 4점으로 급격히 압축된 것이다.
그 비밀은 벤치마크 40점의 내부 구성에 있다. 벤치마크는 AAII(25점)와 한국지능정보사회진흥원(NIA) 자체 평가(15점)의 합이다. AAII가 에이전트·코딩·일반·과학적 추론 등 글로벌 성능을 재는 지표라면, NIA는 수학·지식·장문 이해·한국어·안전성·신뢰성을 잰다. 성격이 완전히 다른 두 잣대가 한 배낭에 섞여 있는 셈이다. 모티프가 AAII에서 1위를 찍고도 종합 벤치마크 격차가 4점으로 줄어들었다면, 글로벌 성능에서 벌어놓은 우위를 NIA의 국내 언어·안전성 영역에서 상당 부분 까먹었을 가능성이 크다. 정부 스스로 “세 평가 영역별 1위가 모두 달랐다”고 한 것도, AAII 1위인 모티프가 종합 벤치마크에서는 1위가 아니었을 수 있음을 시사한다.
문제는 이 ‘16점→4점 압축’이 정확히 어느 항목에서, 어떤 계산식을 거쳐 일어났는지를 검증할 수 없다는 데 있다. 정부는 팀별 세부점수와 AAII 원점수를 25점 만점으로 바꾸는 환산식을 공개하지 않았다. 벤치마크 격차가 얼마나 좁았는지는 알려주면서도, 그 격차가 NIA 점수 때문인지 환산식의 특성 때문인지는 숫자로 따질 길을 막아둔 것이다.
점수는 없고 격차만 있다
눈에 띄는 것은 과기정통부가 개별 팀의 실제 종합점수를 공개하지 않았다는 점이다. 평균과 1위-4위 격차만 제시된 탓에, 모티프가 3위 팀과 근소한 차이로 밀렸는지 압도적으로 뒤처졌는지는 알 수 없다. AAII 원점수처럼 일부 지표는 공개됐지만, 탈락을 결정지은 종합점수의 무게는 숫자로 확인할 길이 없다. “종합평가 최하위”라는 표현은 순위만 알려줄 뿐, 그 격차가 얼마나 좁았는지는 말해주지 않는다.
이런 비공개 방식은 이의제기나 논란을 피하려는 선택일 수 있지만, 국가 예산이 투입되는 사업에서 탈락 사유를 숫자로 검증할 길을 막는다는 점은 그 자체로 취재의 대상이다. 다만 공정성 문제로만 몰아가기엔 정부가 내놓은 해명도 있다. 과기정통부는 일부 참여사의 ‘벤치맥싱’ 의혹에 대해 AAII 운영사인 아티피셜 애널리시스에 공식 확인을 의뢰, “체계적인 암기나 과적합 문제가 입증될 단서를 찾지 못했다”는 답변을 받았다고 밝혔다. 벤치맥싱은 특정 테스트셋이나 평가 방식에 맞춰 모델을 과도하게 최적화하는 것이다.
각 항목별 격차가 근소해 특정 항목이 결정적이었다고 보기 어렵다는 게 정부의 부연이다. 점수 비공개를 둘러싼 비판 지점은 유효하되, 그 배경까지 함께 놓고 봐야 균형이 맞는다.
“재현성과 설명 책임을 확인해 달라” — 공식화된 언론의 공개 요구
업계에서도 세부 평가 자료 공개를 공식적으로 요구하는 목소리가 나왔다. 이데일리 보도에 따르면 정부의 ‘근소한 차이’ 설명만으로는 결과 산출 과정을 검증할 수 없다며, 다음 아홉 가지 항목의 공개를 요청하는 제보가 접수됐다. ① 4개 팀의 세부 항목별 점수와 최종 순위, ② AAII·NIA 원점수의 환산식, ③ 전문가 평가위원 선정 및 이해충돌 배제 절차, ④ 익명화된 전문가 평가 점수 분포, ⑤ 전문 사용자·국민평가의 블라인드 여부, ⑥ 평가 문항과 모델 노출 순서, ⑦ 중복 참여 방지 방식, ⑧ 3위와 4위의 실제 총점 차이, ⑨ 이의제기 절차다.
제보자는 “결과를 뒤집어 달라는 취지가 아니라, 국민 세금이 들어간 국가대표 AI 선발 과정의 재현성과 설명 책임을 확인해 달라는 취지”라고 밝혔다. 요구 항목의 성격을 보면 이 발언의 무게가 드러난다. 여기서 언급된 아홉 개 항목은 특정 결과의 뒤집기가 아니라, 과학적 실험에서 ‘재현 가능성(reproducibility)’을 확인하기 위한 최소 조건들이다.
원점수와 환산식을 공개하면 이 기사가 지적한 ‘AAII 16점→벤치마크 4점 압축’ 구조를 외부에서 검증할 수 있고, 평가위원 이해충돌 배제 절차와 블라인드 여부는 전문가·이용자 평가의 신뢰성을, 모델 노출 순서와 중복 참여 방지 방식은 이용자 평가의 편향 통제를, 3위와 4위의 실제 총점 차이는 탈락의 무게를 각각 검증하게 해준다. 이 중 어느 하나만 공개돼도 지금까지의 ‘평균과 격차’라는 모호한 서술은 훨씬 견고한 숫자로 대체된다.
바꿔 말하면, 지금 공개되지 않은 이 아홉 가지가 이번 평가의 블랙박스다. 정부가 “공정하다”고 말할 근거는 있어도, 국민이 “공정한지” 스스로 확인할 근거는 이 목록이 열려야 비로소 생긴다.
‘모델 경쟁’이라 부르지만, 전문가 평가는 사실상 사업평가다
품질 논란의 또 다른 축은 전문가 평가(35점)다. 정부가 보도자료로 공개한 평가위원회 의견을 보면, 업스테이지는 “개발 성과를 국민이 체감할 수 있도록 포털 ‘다음’과 ‘타임리’ 플랫폼과 연계 추진”한 점과 “퓨리오사AI NPU 협업을 통한 외산 하드웨어 종속성 완화”가, SK텔레콤은 “국방 분야용 A.X K1 모델 제공, 제조 산업 특화 에이전트 실증, 법무·세무 분야 시연”이, LG AI연구원은 “글로벌 국제기구와의 협업 전략 수립”과 “에이전틱 AI 차별성”이 각각 높게 평가됐다고 밝혔다.
여기서 실제로 ‘모델 자체의 성능’을 직접 평가한 대목은 SK텔레콤의 “수리 추론과 한국어 영역에서 비교군 최상위 성능” 정도에 불과하다. 나머지는 플랫폼 연계, 하드웨어 국산화, 산업 실증, 글로벌 협업 전략, 안전·신뢰 체계 등 ‘사업 확산 전략’에 가까운 내용이다. 실제로 전문가 평가의 평가항목은 ‘개발 전략 및 기술, 개발 성과 및 계획, 파급효과 및 기여계획’으로 정해져 있다. 성능을 재는 벤치마크가 아니라, 개발 전략과 사업계획을 묻는 항목이라는 뜻이다.
이는 ‘모델 경쟁’으로 불리는 독파모의 정체를 다시 생각하게 한다. 총점 100점 가운데 순수하게 모델 성능을 묻는 것은 벤치마크 40점뿐이고, 나머지 60점(전문가 35점 + 이용자 25점)은 전략·확산·체감에 배정돼 있다. AAII 성능 1위 모티프가 탈락한 것도 이 구조와 무관하지 않다. 경쟁의 이름은 ‘AI 모델’이지만, 평가의 절반 이상이 모델의 능력이 아니라 ‘어떻게 퍼뜨리고, 누구와 손잡고, 어떤 산업에 붙일 것인가’를 묻고 있기 때문이다.
이용자 평가 25점, 그런데 고객접점의 문은 닫혀 있었다
모티프 탈락을 이해하려면 평가 설계와 컨소시엄 구성의 뒤얽힘도 봐야 한다. 필자가 아는 바로는 모티프는 ‘모두의 AI’ 컨소시엄 구성 과정에서 고객접점 확보를 위해 카카오와 힘을 합치려 했다. 국내 최대 메신저인 카카오톡의 압도적인 가입자 저변을 AI 서비스의 실제 사용자 기반으로 활용하겠다는 판단이었다. 그러나 정부는 모티프에게 한 곳만으로 컨소시엄을 꾸리라고 제한했다고 한다. 모티프는 애초에 원했던 두 곳 대신 KT 하나와 손을 잡아야 했고, 카카오라는 최대 고객접점은 컨소시엄 밖으로 밀려났다.··
바로 이 지점에서 배점 구조가 정면으로 모순된다. 이번 2차 평가의 이용자 평가(25점)는 AI 전문 사용자 49명과 일반 국민 185명이 서비스를 직접 써보고 매긴 점수다. 정부가 이용자의 반응과 실제 사용성을 그토록 중시했다면, 고객접점이 가장 많은 카카오와의 협업까지 허용해 KT가 모티프, 업스테이지와 손잡은 것처럼 두 회사 체제로 컨소시엄을 넓혀줬어야 논리가 선다. 대규모 사용자 저변을 가진 파트너 없이 평가에 임하도록 해놓고, 그 사용성과 체감 품질을 25점이나 되는 비중으로 재단한 것은 서로 충돌하는 기준이다.
대형 고객접점을 확보하지 못한 채 이용자 평가에 임한 모티프가 뒤처졌고, 그 격차(5.0점)가 세 항목 중 유일하게 벤치마크(4.0점)·전문가(2.4점)를 웃돌며 가장 컸다는 사실은 이 구조적 불리와 정합적이다. 벤치마크 성능만으로는 통과가 보장되지 않는 평가 설계 속에서, 애초에 사용자 접점을 넓힐 기회를 제도적으로 막아둔 채 ‘이용자 평가’로 탈락을 가른다면, 그 탈락의 무게를 온전히 모티프의 기술 탓으로만 돌리기는 어렵다. 이 대목 역시, 앞서 언급된 ‘세부 자료 공개 요구’가 관철되지 않는 한 정부의 설명만으로는 해소되지 않는다.
‘진출’의 실체는 무엇인가
마지막으로, LG·SKT·업스테이지가 “다음 단계에서 최종 경쟁을 이어간다”는 문장이 실제로 무엇을 뜻하는지도 짚어야 한다. 정부는 3차 평가를 거쳐 내년 초 최종 2개 팀을 선정할 계획이라고 밝혔다. 최종 선정 팀 수는 공개됐다. 그러나 예산이 팀별로 어떻게 배분되는지, 탈락한 모티프에 배정됐던 자원이 남은 팀에 어떻게 재분배되는지 등 자금 흐름의 세밀한 구조는 여전히 설명되지 않았다. 성능 경쟁의 스포트라이트 뒤에서, 국민 세금이 남은 팀에게 어떤 방식으로 흘러가는지에 대한 답은 비어 있다. 3파전을 보도하는 뉴스가 그 지점까지 물어야 ‘국가대표 AI’라는 말이 비로소 성립한다.
세부 점수도, 환산식도, 평가위원 선정 절차도, 이의제기 창구도, 자금 재분배 방식도 모두 열리지 않은 지금 이 상태에서 남은 것은 하나다. “근소한 차이였다”는 정부의 말과, “그 근소함을 재현 가능하게 보여달라”는 업계·국민의 요구. 이번 발표가 국가대표 AI 선발의 ‘결과’로 남을지, 아니면 국가 예산이 어떻게 심사되는지에 대한 ‘질문의 출발점’으로 남을지는 이 요구에 대한 정부의 다음 응답이 결정할 것이다.
