국산 AI 서버, 글로벌 서버 제쳤다…‘액체냉각’으로 MLPerf 1위

[이데일리 김현아 기자] 국산 AI 서버가 엔비디아와 시스코, HPE 등 글로벌 기업들이 참여하는 국제 AI 성능평가에서 글로벌 서버를 제쳤다. 특히 이용자가 실제로 사용하는 환경에서도 최대 성능의 99.99%를 유지했다.

매니코어소프트는 자체 개발한 AI 서버 ‘딥가젯(DeepGadget) dg5W’가 국제 AI 성능평가 ‘MLPerf Inference v6.1’에 공식 등재됐다고 23일 밝혔다.

MLPerf는 기업과 대학, 연구기관 등이 동일한 조건에서 AI 서버의 성능을 측정하는 국제 벤치마크다. 이번 평가에는 엔비디아, 구글, 마이크로소프트 애저, AMD, 인텔, 델, HPE, 시스코 등 글로벌 기업들이 참여했다.

매니코어소프트의 직접액체냉각 AI 서버 ‘DeepGadget dg5W’(사진=매니코어소프트)

이번 평가에서 dg5W는 메타의 언어모델 ‘Llama 3.1 8B’를 대상으로 초당 2만4511.8개의 토큰을 처리했다.

눈에 띄는 것은 실제 서비스 환경을 가정한 평가다. 이용자 요청이 계속 들어오는 ‘Server’ 조건에서 초당 2만4510.5토큰을 처리했다. 최대 성능을 측정하는 ‘Offline’ 대비 99.99%의 처리량을 유지했다.

같은 평가에 참여한 GPU 4장급 서버 가운데 가장 높은 수준이다. 시스코 4장 서버는 98.33%, 시스코 8장 서버는 97.47%, HPE 서버는 97.17%였다.

같은 GPU인데…실서비스에서 성능 차이

이번 평가에서 dg5W는 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 4장을 사용했다. 같은 GPU를 사용해 결과를 낸 서버는 HPE와 시스코 제품 등 4종이었다.

dg5W의 실서비스 조건 처리량은 GPU 4장을 탑재한 시스코 서버보다 0.05% 높았다. 반면 최대 처리량을 보는 Offline 조건에서는 시스코 서버가 1.61% 높았다.

GPU 자체의 성능에서는 큰 차이가 없지만, 실제 서비스 환경에서 성능을 얼마나 유지하느냐에서 dg5W가 앞섰다는 의미다.

dg5W는 Server 조건에서 초당 약 190건의 요청을 처리했다. 99%의 요청이 첫 응답을 받는 데 걸린 시간은 약 1.51초, 토큰 하나를 생성하는 데 걸린 시간은 약 85ms였다. MLPerf가 정한 각각 2초, 100ms 이내 기준을 충족했다.

GPU 4장 직접 식히는 ‘액체냉각’

dg5W의 또 다른 특징은 냉각 방식이다.

일반적인 AI 서버는 팬을 이용해 GPU의 열을 식히는 공랭식이 많다. dg5W는 GPU 4장을 직접 액체로 식힌다.

일반 서버의 PCIe 슬롯에 꽂는 카드형 GPU를 직접액체냉각한 서버가 MLPerf Inference 공식 결과에 등재된 것은 이번이 처음이라고 회사 측은 설명했다. 국산 서버가 액체냉각 방식으로 MLPerf에 등재된 것도 첫 사례다.

매니코어소프트는 GPU에서 발생하는 열을 효과적으로 제어하면서 실제 서비스에서도 성능을 유지할 수 있도록 냉각 구조를 설계했다.

다만 이번 MLPerf 평가에는 전력효율 수치는 포함되지 않았다.

국산 서버 기술, 국제 평가로 검증

dg5W에는 NVIDIA RTX PRO 6000 Blackwell Server Edition 96GB GPU 4장과 AMD EPYC 9124 프로세서, 512GB DDR5 메모리가 들어갔다. TensorRT 10.14.1.48과 CUDA 13.1을 기반으로 구동하며 FP4 정밀도를 적용했다.

이번 평가의 시험과 성능 최적화, 국제 심사 대응은 한국정보통신기술협회(TTA)가 맡았다. TTA는 데이터 병렬화와 추론 엔진 등을 조정해 지연시간 기준을 충족하면서 처리량을 높였다.

한주연 TTA AI인프라검증 팀장은 “국내 제조사의 하드웨어 기술과 국내 시험기관의 검증 역량이 맞물려 나온 성과”라며 “국산 AI 인프라가 국제 무대에서 객관적으로 평가받을 수 있는 기반을 넓혀가겠다”고 말했다.

박정호 매니코어소프트 대표는 “고성능 GPU는 해외에서 들여오더라도 그 성능을 온전히 끌어내는 AI 서버는 국내 기술로 설계할 수 있다는 것을 공개 검증 절차로 확인받았다”며 “앞으로도 공개 벤치마크를 통해 국산 AI 인프라의 성능을 검증받겠다”고 말했다.

이번 평가는 과학기술정보통신부와 정보통신산업진흥원(NIPA)의 ‘친환경·고효율 AI 데이터센터 테스트베드 조성 및 실증 지원’ 사업의 일환으로 TTA와 공동 수행됐다. MLPerf 결과는 지난 16일(현지시간) 공개됐다.

MLPerf는 125개 이상의 기업·대학·연구기관이 참여하는 MLCommons가 주관한다. 이번 v6.1에는 30개 기관이 참가했다.

매니코어소프트는 서울대 슈퍼컴퓨터 ‘천둥’ 개발 경험을 바탕으로 AI·고성능컴퓨팅(HPC)용 GPU 서버를 개발해왔다. ‘딥가젯’ 시리즈를 대학·연구소·기업 등 180곳 이상에 공급했으며 2020년에는 액체냉각 시스템 관련 특허를 등록했다.