트릴리온랩스, 국내 최초 ‘확산 기반 트랜스포머 아키텍처’ 모델 개발

[이데일리 김아름 기자] AI 스타트업 트릴리온랩스(Trillion Labs)가 과학기술정보통신부 산하 정보통신산업진흥원(NIPA)의 고성능 컴퓨팅 지원사업을 통해 국내 최초로 ‘확산 기반 트랜스포머(Diffusion Transformer) 아키텍처’를 적용한 대규모 언어 모델 ‘Trida-7B’ 개발에 성공했다고 29일 밝혔다.

이번 성과는 기존 자기회귀(Autoregressive) 모델의 구조적 한계를 넘어, 구글(Google)의 제미나이 등 글로벌 빅테크들이 이제 막 시도하기 시작한 차세대 디퓨전 모델 아키텍처를 국내 스타트업이 독자적으로 구현해냈다는 점에서 큰 의미를 갖는다. 트릴리온랩스는 단어를 순차적으로 생성하는 방식 대신, 문장 전체를 병렬로 생성하는 확산 기술을 트랜스포머 아키텍처에 성공적으로 이식하여 추론 속도와 효율성을 획기적으로 개선했다.

특히 이번 개발 과정에서 NIPA가 지원한 H200 80장 규모의 고성능 연산 자원은 스타트업이 직면한 가장 큰 애로사항인 ‘컴퓨팅 파워 부족’을 해결하는 결정적 동력이 되었다. 막대한 자본이 소요되는 하드웨어 인프라를 정부로부터 적시에 지원받음으로써, 기술적 난제였던 블록 디퓨전(Block Diffusion) 효율 학습 전략과 독자적 전이 학습(Transfer Learning) 기법을 단기간에 완성할 수 있었다.

‘Trida-7B’는 주요 한국어 성능 평가 지표에서 디퓨전 LLM 글로벌 선행 모델들을 압도하며 기술적 완성도를 입증했다. 복잡한 수리적 사고를 요하는 ko_gsm8k(수학)에서 61.26점을 기록하며 NVIDIA의 ‘Fast dLLM’(56.94점) 등 기존 글로벌 모델들을 유의미한 차이로 앞서며 독보적인 1위를 차지했다.

또한 사용자의 복잡한 명령어를 얼마나 정확하게 수행하는지 측정하는 koifeval(한국어 지시 이행 능력)에서도 53.42점을 획득해 경쟁 모델 대비 압도적인 성능 우위를 증명했다. 한국어 지식 이해 능력을 측정하는 kmmlu(한국어 상식)에서는 46.35점으로 최고점을 획득했다. Trida-7B가 국내는 물론 글로벌 표준의 한국어 환경에서도 가장 최적화된 성능을 발휘하는 ‘한국어 특화 AI’임을 입증하는 결과다.

트릴리온랩스 신재민 대표는 “스타트업이 감당하기 힘든 막대한 연산 자원 확보 문제를 NIPA의 지원을 통해 해결하면서 연구 개발에만 매진할 수 있었다”며, “확산 기반 트랜스포머라는 차세대 아키텍처 선점을 통해 대한민국이 글로벌 AI 기술 경쟁에서 주도권을 확보하는 데 기여하겠다”고 밝혔다.