엔비디아·시스코, AI팩토리 병목 뚫는다…대역폭 밀도 4배

젠슨 황 엔비디아 최고경영자(CEO). (사진=방인권 기자)

[이데일리 한광범 기자] 엔비디아(NVIDIA)가 차세대 AI 가속기 ‘베라 루빈’ 시대를 겨냥해 AI 팩토리의 설계와 운영 체계를 개방형 표준으로 확장한다. 구글과 메타, 마이크로소프트, 시스코 등 글로벌 기술기업들과 전력·냉각·네트워크·랙 설계를 아우르는 공통 인프라를 구축해 메가와트에서 기가와트급으로 커지는 AI 데이터센터 확장에 대응한다.

엔비디아는 13일 미국 새너제이에서 열린 ‘OCP 글로벌 서밋’에서 차세대 AI 팩토리 구축을 위한 새로운 파트너십과 개방형 기술 기여 계획을 공개했다고 밝혔다. 핵심은 베라 루빈 기반 AI 팩토리 설계를 특정 업체만 사용할 수 있는 폐쇄형 구조에 두지 않고 업계 표준으로 확산하는 것이다. 엔비디아는 개방형 MGX 아키텍처를 통해 베라 루빈용 랙과 컴퓨트 트레이 설계를 OCP에 기여했다. 시스템 제조업체가 이를 바탕으로 차세대 AI 인프라를 설계·제조할 수 있도록 공통 기반을 제공한다.

AI 팩토리가 수십·수백MW에서 GW 단위로 확대되면서 GPU 성능만 높여서는 전체 시스템의 효율을 끌어올리기 어려워졌다는 판단이 깔려 있다. 전력 공급과 냉각, 랙 구성, 네트워크까지 하나의 시스템으로 설계해야 AI 처리량과 전력 효율을 동시에 높일 수 있다는 것이다.

엔비디아는 AMD·구글·메타와 함께 ‘개방형 데이터센터 사양 v0.7’도 공개했다. 전력 아키텍처부터 냉각 인프라, 데이터센터 내부 물리적 배치까지 AI 팩토리 시설 설계 전반을 하나의 청사진으로 제시한다.

전력망 장애 대응도 표준화한다. 구글·메타·마이크로소프트·엔비디아가 공동으로 마련한 ‘OCP 전력망 복원력 사양’은 대규모 AI 인프라가 전력망 교란 발생 시 연결을 유지하면서 자동으로 대응하고, 2초 안에 거의 전체 부하 수준으로 복구하도록 하는 기준을 담았다.

전력·냉각·랙까지 개방형 표준 확대

랙 자체도 고밀도 AI 시스템에 맞춰 바뀐다. 엔비디아가 공개한 3세대 ‘MGX 1.2’는 블라인드 메이트 방식의 액체 냉각과 5000A 버스바, 고밀도 랙 구성을 지원한다. 최대 250kW 규모 랙 구축이 가능하며 컴퓨팅과 네트워크, 전력, 냉각을 공통 모듈형 플랫폼으로 묶는다.

엔비디아·시스코가 공동 개발한 차세대 플러그형 광모듈 폼팩터 'USFP'. (사진=엔비디아)

베라 CPU 전용 랙도 별도로 설계했다. 베라 루빈 NVL72가 대규모 AI 학습과 추론을 담당한다면 베라 CPU 랙은 AI 에이전트의 툴 호출과 오케스트레이션, 샌드박스 실행 등을 처리하는 데 초점을 맞췄다.

네트워크 확장에서는 메타와의 협력을 강화했다. 메타는 엔비디아의 ‘스펙트럼-6’ 기반 102.4Tb/s 이더넷 스위치를 차세대 베라 루빈 AI 팩토리에 도입한다. 스펙트럼-6은 이전 세대보다 스위칭 용량과 레인당 대역폭을 각각 2배 높였다.

양사가 개발한 ‘스펙트럼-X 멀티플레인’은 GPU 트래픽을 최대 8개의 독립적인 네트워크 플레인으로 나눠 처리한다. 이를 통해 스위치 계층을 과도하게 늘리지 않고도 10만개 이상의 GPU를 연결할 수 있다. 일부 네트워크에 장애가 발생하면 트래픽을 다른 플레인으로 우회해 AI 작업을 계속 수행할 수 있도록 했다.

구글과는 차세대 ‘커넥트X-10’ 슈퍼NIC와 블루필드 DPU에 ‘팔콘 트랜스포트’를 지원한다. 팔콘은 대규모 이더넷 환경에서 혼잡이 발생했을 때 여러 경로로 트래픽을 분산하고 손실된 패킷을 하드웨어에서 복구하는 기술이다. 구글과 엔비디아 장비가 공통 전송 프로토콜로 연결돼 대규모 AI 클러스터의 상호운용성을 높이는 것이 목표다.

AI 팩토리의 전력 구조도 바뀐다. 비전베이는 엔비디아의 800V DC 레퍼런스 아키텍처와 버티브의 전력·열 관리 기술을 결합한 차세대 AI 팩토리 플랫폼 ‘K-1’ 개발 계획을 공개했다.

기존 저전압 방식은 AI 랙의 전력 밀도가 높아질수록 구리 배선과 케이블, 전력변환 장비가 늘어나는 한계가 있다. K-1은 800V DC 전원을 컴퓨팅 자원 가까이 공급해 이를 줄이고, 기존 데이터센터를 전면 재설계하지 않고도 필요한 구간부터 단계적으로 적용할 수 있도록 설계했다. 향후 베라 루빈급 고밀도 시스템 도입을 염두에 둔 구조다.

하드웨어 넘어 운영 소프트웨어도 개방

하드웨어뿐 아니라 운영 소프트웨어도 개방한다. 엔비디아는 DSX AI 팩토리 운영체제인 ‘DSX OS’에 네트워크 구성 자동화와 GPU 클러스터 상태 검증, 랙 관리, 베어메탈 프로비저닝을 담당하는 오픈소스 구성 요소 4종을 추가했다.

이 가운데 클러스터 준비 엔진은 실제 AI 워크로드를 모사해 GPU 클러스터를 사전 점검하고, 인프라 컨트롤러는 초기 상태의 AI 서버를 며칠이 아닌 몇 시간 만에 실제 운영 가능한 클러스터로 전환하도록 지원한다. 엔비디아는 DGX 클라우드 운영 과정에서 축적한 기술을 외부 클라우드 사업자와 소프트웨어 기업도 활용하도록 개방한다는 계획이다.

엔비디아는 이번 발표를 통해 AI 팩토리의 경쟁축이 개별 GPU 성능에서 데이터센터 전체 시스템의 효율과 확장성으로 이동하고 있다는 점을 강조했다. 개방형 표준을 바탕으로 다양한 제조업체가 동일한 설계 원칙을 활용하도록 해 차세대 AI 인프라 구축 속도를 끌어올린다는 전략이다.

이안 벅 엔비디아 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장은 개방형 인프라가 전 세계 AI 팩토리 확장을 위한 핵심 요소로 자리 잡고 있다고 설명했다. 엔비디아는 개방형 표준과 컴퓨팅·네트워크·전력·냉각의 공동 설계를 결합해 AI 인프라 구축을 가속하고 전력 효율과 와트당 토큰 처리 성능을 높인다는 전략이다.