독파모, 공개된 것은 ‘점수’…남은 것은 평가의 ‘왜’다 [김현아의 IT세상읽기]

[이데일리 김현아 기자] “점수는 공개됐는데, 왜 그렇게 점수가 나왔는지는 알 수 없다.”

‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 2차 평가에서 탈락한 모티프테크놀로지스의 문제 제기를 압축하면 이렇다.

과학기술정보통신부가 지난 27일 그동안 공개하지 않았던 항목별 전체 점수를 공개했다. 모티프의 요구에 다른 정예팀들도 동의하면서 이뤄진 조치다. 국가 AI 사업에서 평가 점수를 항목별로 사실상 전면 공개한 것은 이례적이다. 논란 속에서 숫자를 감추기보다 전부 공개하고 검증받겠다는 방향을 택했다는 점에서 잘 한 일이다.

그런데 숫자가 공개되자 오히려 또렷해진 궁금증이 있다.

“왜?”

모티프는 글로벌 AI 평가기관 아티피셜 애널리시스(Artificial Analysis)의 종합지표 AAII에서 47점으로 4개 팀 가운데 1위를 차지했다. 그러나 전문가 평가에서는 27.1점, AI 전문사용자 평가에서는 8.4점, 일반사용자 평가에서는 5.7점으로 모두 4위였다. 최종 점수도 65.8점으로 4위에 그쳤다.

반면 LG AI연구원은 AAII에서 31점으로 4위였지만 전문가 평가에서는 29.5점, 일반사용자 평가에서는 7.6점으로 높은 점수를 받아 최종 3위에 올랐다.

AAII에서 가장 높은 점수를 받은 모델이 왜 사람의 평가에서는 가장 낮은 점수를 받은 것일까.

47점과 31점, 최종 점수에서는 얼마나 벌어졌나

모티프의 AAII 원점수는 47점, LG AI연구원은 31점으로 16점 차이다. 하지만 AAII의 최종 배점은 25점이다. 환산하면 모티프 11.8점, LG AI연구원 7.8점으로 최종 반영 격차는 약 4점으로 줄어든다.

반면 전문가 평가는 35점, AI 전문사용자는 15점, 일반사용자는 10점이다. 외부 벤치마크가 40점인 데 비해 사람의 판단에 기반한 평가는 60점이다.

한 SW업체 대표가 이번 평가를 두고 한 말이 이를 잘 보여준다.

“독파모는 결국 엔진 성능을 겨루는 대결인데, 엔진 성능보다 차 디자인을 보는 평가가 지나치게 큰 것 아닌가.”

AI 모델에서 엔진은 모델 자체의 성능과 기술력, 차 디자인은 사용 편의성과 서비스 경험에 해당한다는 비유다.

물론 전문가와 사용자 평가가 필요 없다는 뜻은 아니다. AI의 가치는 벤치마크만으로 설명하기 어렵다. 다만 배점이 큰 평가일수록 무엇을 평가했는지만큼 어떻게 평가했는지가 중요하다.

배점 35점인 전문가 평가 내용. 출처=과기정통부

배점 15점인 AI 전문사용자진 평가 설명자료. 출처=과기정통부

배점 10점인 일반국민평가 결과. 출처=과기정통부

작은 점수 차이가 최종 순위를 가른다…배점 설계는 적절했나

전문가 평가는 각 항목을 1~5점으로 평가한 뒤 항목별 배점에 따라 35점 만점으로 환산했다. AI 전문사용자 평가는 15점, 일반 국민 평가는 10점으로 반영됐다.

이에 따라 전문가 평가에서는 원점수 평균의 0.1점 차이가 최종 점수에서는 0.7점 차이로 이어진다. AI 전문사용자 평가는 0.1점 차이가 0.3점, 일반 국민 평가는 0.2점 차이로 반영됐다.

실제 AI 전문사용자 평가에서 모티프는 2.8점, LG AI연구원은 3.8점을 받았다. 원점수 1점 차이가 최종 반영 점수에서는 8.4점 대 11.3점, 2.9점 차이로 벌어졌다.

일반 국민 평가에서도 모티프는 1.9점, LG AI연구원은 2.5점이었다. 0.6점의 원점수 차이가 최종 점수에서는 1.9점으로 확대됐다.

반면 글로벌 AI 성능평가인 AAII에서 모티프와 LG AI연구원의 원점수 차이 16점은 최종 반영 과정에서 약 4점으로 줄었다.

작아 보이는 점수 차이가 배점 구조를 거치면서 최종 순위에 적지 않은 영향을 미칠 수 있는 구조인 셈이다.

그래서 점수 자체만큼이나 궁금한 것은 이 같은 배점과 평가 기준을 누가, 어떤 근거로 설계했는지다. 배점과 환산 과정에 오류가 없었는지도 검증할 필요가 있다.

모티프 역시 최종 점수표가 공개된 뒤 전문가 평가 결과에 문제를 제기하고 있다.

모티프는 “공개된 전문가 평가 결과를 보면 대기업이 당연히 높은 점수를 받을 것으로 예상할 수 있었던 ‘파급효과 및 기여계획’ 항목뿐 아니라 ‘개발전략 및 기술’, ‘개발 성과 및 계획’ 항목에서도 대기업의 점수가 높고 저희의 점수가 매우 낮다는 점을 확인할 수 있다”고 밝혔다.

이어 “독자 파운데이션 모델로서의 독창성이나 실제 달성한 모델의 성과에 비춰볼 때 현재의 전문가 및 일반인 평가 결과에 동의하기 어렵다”며 “구체적인 채점 기준을 확인할 수 있기를 기대한다”고 강조했다.

“전문가들이 그렇게 평가했다”는 설명만으로는 국가 대형 AI 사업의 결과를 납득시키기 어렵다.

독파모보다 중요한 것은 그 다음이다

벤치마크와 사람의 평가는 모두 필요하다. 다만 서로 다른 결과가 왜 나왔는지는 설명할 수 있어야 한다.

모티프는 외부 성능평가에서 1위였지만 전문가·전문사용자·일반사용자 평가에서는 모두 4위였다. 반대로 LG AI연구원은 외부 성능평가 4위였지만 사람의 평가에서는 상대적으로 높은 점수를 받았다.

AAII가 본 것과 전문가·사용자가 본 것이 무엇이 달랐는지는 설명돼야 한다. 과기정통부 설명대로 평가기준이 6개월마다 바뀌는 ‘무빙 타깃’이라면 더더욱 그렇다.

움직이는 것은 괜찮다. 다만 어디로 움직이는지는 보여줘야 한다.

독파모에서 정부가 공개한 것은 ‘점수’다. 이제 남은 것은 그 점수가 왜 나왔는지에 대한 설명이다.

하지만 더 중요한 것은 그다음이다.

정부는 앞으로 약 5조원의 국가 예산을 투입해 미토스급 AI, 즉 프론티어 AI 개발을 추진한다고 한다. 독파모보다 훨씬 큰 국가 AI 프로젝트가 이어지는 셈이다.

그렇다면 여러 기업을 공개 경쟁에 붙여 일부를 선정하는 방식만으로 충분한지도 돌아볼 필요가 있다.

프론티어 AI는 한 번의 공모전으로 끝낼 수 있는 사업이 아니다. 막대한 컴퓨팅 자원과 인력, 장기간의 투자가 필요하고 개발 과정에서 방향도 계속 조정해야 한다. 경쟁과 별개로 국가 차원에서 장기적으로 책임질 실행 주체가 필요한 이유다.

공공 SPC(특수목적법인) 같은 별도의 실행 구조를 검토할 필요가 있다. 정부와 민간 기업·연구기관의 기술과 인재, 컴퓨팅 자원을 묶어 장기간 개발을 책임지는 구조다. 한 곳을 승자로 정해 자원을 몰아주기보다 서로 다른 역량을 결합할 수 있다.

공개 경쟁만으로 국가대표급 AI를 만들기는 어렵다. 무엇을 개발할지, 자원과 책임을 어떻게 배분할지, 성과와 실패를 누가 장기적으로 책임질지가 중요하다.

좋은 모델을 만드는 것만큼 평가와 설명의 시스템을 갖추는 일도 중요하다. 대규모 국가 AI 투자를 앞둔 지금, 경쟁을 넘어 국가가 책임지고 프런티어 AI를 개발할 실행 구조를 함께 설계해야 한다.

공공 SPC가 그 하나의 대안이 될 수 있다. 그것 역시 국가 AI 경쟁력이다.