국가대표 AI, ‘배점 설계’ 실패했다…AAII 1위 모티프 탈락의 역설 [김현아의 IT세상읽기]

[이데일리 김현아 기자] 독자 AI 파운데이션 모델(독파모) 2차 평가 결과를 보면서 가장 먼저 든 생각은 “이게 맞나”였다.

정부 의뢰로 글로벌 AI 모델 평가기관 아티피셜 애널리시스(AA)가 실시한 인공지능 종합지표(AAII)에서 47점을 받아 국내 기업 중 1위, 글로벌 10위를 기록한 모티프테크놀로지스가 최종 탈락했기 때문이다.

반면 AAII에서 31점을 받은 LG(003550) AI연구원은 3차 평가에 진출했다. 업스테이지는 37점, SK텔레콤(017670)은 35점을 기록했다.

그런데 이데일리가 확보한 세부 평가 결과를 보면 모티프의 탈락 배경은 더욱 선명해진다.

모티프는 벤치마크에서 24.6점, 전문가 평가에서 27.1점을 받았다. 하지만 사용자 평가에서는 14.1점에 그쳤다. 전문 사용자 평가 8.4점, 일반 국민 평가 5.7점이다.

종합점수는 65.8점. 글로벌 기술력을 측정하는 AAII에서는 국내 경쟁사를 모두 앞섰지만, 사용자 평가에서의 열세가 최종 탈락에 영향을 미친 셈이다.

정부 역시 모티프의 기술력은 뛰어났지만 사용성과 실제 활용성에서 상대적으로 낮은 평가를 받은 것이 탈락에 영향을 미쳤다고 설명했다.

그렇다면 묻지 않을 수 없다.

독파모 사업의 본질은 무엇인가. 세계적 수준의 파운데이션 모델을 개발할 기업을 찾는 것인가, 아니면 지금 당장 가장 잘 활용되는 AI를 뽑는 것인가.

출처=과기정통부

AAII 47점이 최종 평가에선 11.75점

독파모 평가는 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점 등 총 100점으로 구성됐다. 이 가운데 AAII는 벤치마크 40점 중 25점을 차지한다.

AAII 원점수는 모티프 47점, 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다.

이를 25점 만점으로 환산하면 모티프는 11.75점, 업스테이지 9.25점, SK텔레콤 8.75점, LG는 7.75점이다.

AAII 원점수에서 모티프와 LG의 격차는 16점이다. 하지만 최종 평가에 반영되는 점수 차이는 4점으로 줄어든다. 여기에 NIA 평가 15점이 더해져 벤치마크 전체 40점이 된다.

글로벌 기술력 평가에서 큰 격차를 내더라도 최종 평가에서는 그 차이가 크게 축소되는 구조다.

반면 전문가 평가 35점과 사용자 평가 25점 등 60점은 모델 자체의 성능뿐 아니라 실제 활용성과 파급력 등에 대한 평가가 크게 작용한다.

이번 모티프 사례는 이 배점 구조가 결과를 얼마나 크게 좌우할 수 있는지를 보여준다.

한 AI 전문가는 이번 평가 결과를 두고 “진짜 사용성 점수에서 다 갈리게 만들었는데, 이게 이럴 일인가 싶다”며 독파모 사업의 취지를 되물었다.

그는 특히 “사용성을 좋게 할 거라면 그냥 오픈웨이트 모델을 쓰면 된다”며 사용성은 모델 성능이 일정 수준 이상 높을 때 부가적으로 고려할 요소라는 취지로 지적했다.

‘사용성’이 모델 개발의 본질인가

물론 사용성·활용성 평가 자체가 잘못됐다는 의미는 아니다.

기술력이 실제 서비스와 산업 현장으로 이어지는지를 검증하는 것은 국가 AI 사업에서도 중요하다. 문제는 그 비중이다.

사용성이 좋다는 것이 반드시 모델 자체의 성능이 뛰어나다는 의미는 아니다. 모델 위에 어떤 서비스 환경과 도구, 이른바 하네스(harness)를 구축하느냐에 따라 달라질 수 있기 때문이다.

반대로 파운데이션 모델의 성능이 세계적 수준에 올라섰다면 이를 어떻게 서비스화할지는 이후의 과제로 볼 수도 있다.

특히 모티프처럼 30여명의 소수 인력으로 글로벌 수준의 모델 성능을 만들어낸 스타트업과 대규모 조직과 고객 기반을 가진 경쟁사의 활용성을 같은 잣대로 평가하는 것이 적절한지도 따져볼 필요가 있다.

이번 2차 평가에서는 파급효과 및 기여계획 배점도 기존 10점에서 15점으로 늘었다.

중요한 것은 모티프의 탈락이 부당하다는 결론을 내리는 게 아니다.

글로벌 탑티어 모델도 50점을 넘기 어려운 AAII 평가에서 47점으로 글로벌 경쟁력을 입증한 기업의 모델이 사용자 평가 14.1점 때문에 탈락할 수 있도록 만든 배점 구조가 과연 독파모의 사업 목적과 맞았느냐는 것이다.

더구나 전문가 평가 35점과 사용자 평가 25점 등 전체 100점 가운데 60점이 정성적 판단의 영향을 크게 받는 영역이다.

이 정도 비중이라면 평가 기준과 세부 항목, 평가위원별 점수, 최종 환산 방식까지 공개해야 한다. 그래야 어떤 항목에서 모티프와 경쟁사의 점수가 벌어졌고, 그 차이가 최종 탈락에 얼마나 영향을 미쳤는지 검증할 수 있다.

필요한 것은 ‘기업 구제’가 아니라 평가 검증

과학기술정보통신부는 2차 평가 결과를 기업들에 통보했으며 이의제기와 소명 절차를 진행할 예정이다.

모티프 역시 이 절차를 통해 벤치마크·NIA·전문가·사용자 평가의 원점수와 세부 산식을 확인할 필요가 있다.

평가에 문제가 없었다면 정부가 공개하면 된다. 반대로 기업들이 사전에 예측하기 어려운 배점이나 평가 기준이 있었다면 개선해야 한다.

이번 논란을 모티프와 LG의 승패 문제로만 볼 필요도 없다.

앞으로 수천억원, 나아가 수조원의 세금이 투입될 국가 AI 사업에서 기술력을 얼마나 중시할지, 사용성과 활용성을 어디까지 반영할지는 정책적 선택이다.

다만 배점은 곧 사업의 방향을 말한다.

세계적인 파운데이션 모델을 만들겠다고 하면서 정작 모델 성능보다 사용성 평가가 결과에 더 큰 영향을 미치는 구조라면, 과연 무엇을 위한 국가 AI 사업인지 다시 물어야 한다.

기업들이 평가 기준을 믿고 개발 전략을 세울 수 있어야 하고, 결과가 나온 뒤에는 누구나 그 결과를 검증할 수 있어야 한다.

국가대표 AI 사업에 필요한 것은 세계적 모델을 만들려는 기업이 믿고 경쟁할 수 있는 평가다.

이번 독파모 논란에서 정말 돌아봐야 할 것은 모티프의 탈락 자체가 아니다. 그 탈락을 만들어낸 ‘배점 설계’가 과연 독파모의 목적에 맞았느냐는 것이다.