모레, AMD GPU로 AI 토큰 생산 효율 높인다…엔비디아보다 처리량 2배

[이데일리 김현아 기자] AI 인프라 소프트웨어 기업 모레가 AMD GPU를 활용해 인공지능(AI) 추론 비용을 낮추는 소프트웨어 전략을 공개했다. 엔비디아 GPU 중심의 데이터센터에 AMD GPU를 추가해 함께 운영하는 기술도 선보였다. GPU 확보 경쟁을 넘어 같은 장비로 얼마나 많은 AI 토큰을 생산할 수 있는지가 중요해지는 가운데 소프트웨어 최적화 역량을 차별화 요소로 내세웠다.

모레는 4일 서울 강남구 웨스틴 서울 파르나스에서 열린 ‘AMD 어드밴싱 AI 월드투어 서울 2026’에서 AMD GPU 기반 토큰 팩토리(Token Factory) 소프트웨어 솔루션을 소개했다. 조강원 모레 대표는 라민 로안 AMD AI 제품관리 부문 부사장과 함께 기조연설 무대에 올라 AMD GPU의 추론 성능을 실제 서비스 환경에서 높이는 소프트웨어 전략을 발표했다.

조강원 모레 대표. 사진=모레

조 대표는 “데이터센터가 AI 토큰을 생산하는 토큰 팩토리로 바뀌면서 경쟁 기준도 GPU 보유량에서 토큰당 비용으로 이동하고 있다”며 “새 모델과 가속기가 빠르게 등장하는 상황에서 GPU 성능을 실제 사업 가치로 전환하는 것은 결국 소프트웨어”라고 말했다.

AI 데이터센터는 새로운 오픈소스 AI 모델이 나올 때마다 이를 최적화해 서비스에 적용해야 한다. GPU 제조사와 제품 세대에 따라서도 최적화 작업이 달라진다. 데이터센터 사업자가 이 모든 작업을 자체적으로 수행하려면 전문 엔지니어와 상당한 개발 시간이 필요하다.

모레는 GPU 내부 연산을 최적화하는 커널부터 추론 엔진, 여러 GPU를 연결해 작업을 분산하는 클러스터 소프트웨어까지 자체 개발하고 있다. AMD의 ROCm과 vLLM, SGLang 등 오픈소스 프로젝트에도 참여하고 있다.

모레의 ‘MoAI Inference Framework’는 새로운 AI 모델에 대한 최적화와 AMD GPU 세대별 성능 개선, 대규모 데이터센터의 분산 추론을 하나의 소프트웨어 체계로 지원한다.

특히 이 솔루션을 적용해 AMD 인스팅트 MI355X에서 최신 오픈소스 모델을 구동한 결과, 일반적인 서비스 환경에서 엔비디아 B200보다 2배 이상의 처리량을 확보했다고 밝혔다.

조 대표는 발표에 이어 ‘한국 AI 국가 구축: 인프라에서 성과까지’를 주제로 열린 패널 토론에서도 소버린 AI 인프라의 경쟁력을 강조했다.

그는 “GPU를 확보하는 것만으로 소버린 AI 경쟁력이 완성되지는 않는다”며 “새로운 모델을 즉시 서비스할 수 있는 소프트웨어와 대규모 클러스터를 안정적으로 운영하는 역량이 함께 갖춰져야 한다”고 말했다.

모레 조강원 대표는 ‘AMD Advancing AI World Tour Seoul 2026’ 키노트 세션에 참가해 라민 로안(Ramine Roane) AMD AI 제품관리 부문 부사장(CVP)과 함께 무대에 올라 발표를 진행했다. 사진=모레

모레는 엔비디아와 AMD GPU를 함께 활용하는 이기종 분산 추론 기술도 지원한다. 기존 엔비디아 GPU 인프라를 유지하면서 AMD GPU를 추가해 하나의 클러스터처럼 운영하는 방식이다. 예를 들어 엔비디아 GPU가 AI 입력 내용을 처리하는 프리필(Prefill)을 맡고, AMD GPU가 실제 답변을 생성하는 디코드(Decode)를 담당하도록 작업을 나눌 수 있다. 모레는 이 구성에서 같은 종류의 GPU만 사용한 클러스터보다 약 1.7배 높은 처리량을 기록했다고 설명했다.

이날 행사에서는 AMD GPU 클러스터와 엔비디아·AMD 혼합 클러스터를 활용한 분산 추론 기술도 영상으로 시연했다.

모레는 2021년 KT와 AMD GPU 기반 AI 클라우드 서비스를 상용화했으며, 2000장 이상의 AMD GPU를 실제 운영한 경험을 보유하고 있다. 올해는 국내외 복수의 토큰 팩토리 사업자에게 이기종 GPU 운영을 위한 소프트웨어를 공급하고 있다.

조 대표는 “대규모 AMD 클러스터를 구축하고 운영한 경험과 국내외 토큰 팩토리 공급 실적을 바탕으로 데이터센터 사업자의 AMD 기반 토큰 팩토리 전환을 지원하겠다”고 말했다.

한편 조강원 모레 대표는 서울대 공과대학 컴퓨터공학부 학사 및 박사 과정을 졸업했다. 서울대 매니코어프로그래밍연구단 소속으로 2012년 전 세계 500대 슈퍼컴퓨터 리스트(TOP500)에 오른 국산 슈퍼컴퓨터 ‘천둥’ 개발을 주도했고, 2020년 9월에 공동 창업한 후 2021년부터 최고경영자(CEO)를 맡고 있으며, 서울대학교 데이터사이언스대학원 객원교수로도 활동 중이다.