층층이 쌓은 D램 사이, 1024차선 AI 데이터 고속도로

[이데일리 공지유 기자] 최근 몇 년간 인공지능(AI) 시장이 AI 에이전트, 피지컬 AI 등으로 영역을 넓히면서 AI 연산량이 기하급수적으로 증가하고 있습니다. 이에 AI 반도체에서 데이터를 빠르게 처리할 수 있는 고대역폭메모리(HBM)의 중요성이 날이 갈수록 커지고 있습니다. HBM3, HBM3E에 이어 차세대 HBM인 ‘HBM4’ 전쟁이 본격화하고 있는 이유입니다. 차세대 HBM 시장에서 어떤 경쟁 구도가 형성되고 있는지, 주도권을 쥐기 위한 ‘열쇠’는 무엇인지 알아보겠습니다. [편집자 주]
지난 2022년 말 오픈AI가 내놓은 챗GPT의 등장으로 생성형 AI가 급부상하면서 그래픽처리장치(GPU) 등 AI 가속기에 들어갈 고용량 메모리가 필수로 자리를 잡았습니다. GPU가 연산을 처리하는 인간의 뇌 역할을 한다면, 그 옆에서 이같은 데이터를 모아놓는 저장소 역할을 하는 성능 높은 메모리 반도체가 필요하게 된 것입니다.

(사진=SK하이닉스)

AI 시대 ‘강력한 메모리’ 중요성↑…해결사 떠오른 HBM

AI 가속기에 대한 수요가 증가하면서, 강력한 프로세서를 뒷받침하는 메모리의 중요성은 커질 수밖에 없습니다. 데이터 처리량이 기하급수적으로 늘어나는 상황에서, 기존 D램 메모리로는 처리량을 감당할 수 없어 ‘데이터 병목 현상’이 일어나기 때문입니다.

이같은 상황에서 HBM이 해결사로 등장했습니다. HBM은 메모리 반도체인 D램을 아파트처럼 수직으로 여러 층으로 쌓아 실리콘관통전극(TSV)을 통해 데이터를 전달하는 기술입니다. 메모리와 프로세서 간 데이터 전송 속도와 처리량을 대폭 늘린 것이 특징입니다.

GDDR 메모리와 HBM 구조도.(사진=삼성전자 반도체 뉴스룸)

HBM을 아파트로 비유하면, TSV는 층층이 쌓인 칩들이 원활하게 작동할 수 있도록 하는 역할을 합니다. 칩 내부에 미세한 구멍을 뚫어 위아래 칩을 연결해 각 층에 저장된 데이터를 빠르게 이동시킬 수 있는 일종의 ‘엘리베이터’입니다. 정보 이동 통로이기도 한 이 TSV 개수는 최소 1024개입니다. HBM보다 먼저 쓰였던 D램 메모리(GDDR)의 출입 통로(I/O) 개수가 32개에 불과했던 것과 비교해 보면 확연한 차이를 알 수 있습니다.

글로벌 메모리 반도체 업계의 HBM 경쟁도 본격화했습니다. 국내 기업 중 SK하이닉스가 가장 먼저 시장을 선점했는데요. SK하이닉스는 2013년 미국 AMD와 함께 세계 최초 HBM을 개발, 양산했습니다. 비교적 뒤늦게 시장에 뛰어든 삼성전자는 1세대 HBM을 건너뛰었습니다. 삼성전자는 2015년 10월 HBM2를 개발해 같은해 12월 세계 최초로 양산을 개시했습니다.

삼성전자가 2018년 양산한 2세대 8GB HBM2 D램 ‘아쿠아볼트’.(사진=삼성전자)

차세대 HBM 시장에서도 SK하이닉스가 앞선 모습을 보였습니다. SK하이닉스는 5세대 HBM3E D램 8단 제품을 세계 최초로 양산해 2024년 3월부터 제품 공급을 시작했습니다. 이어 같은 해 9월부터는 층수를 더 높인 HBM3E 12단 제품 양산을 시작했습니다. 삼성전자도 최근 HBM3E 12단 제품을 엔비디아를 포함한 모든 고객사에 납품하기 시작했습니다. 지난해 2월 업계 최초로 HBM3E 12단을 개발했다고 밝힌지 1년 8개월만입니다.

(자료=카운터포인트리서치)

차세대 HBM4, SK·삼성·마이크론 ‘3강 구도’

SK하이닉스와 삼성전자가 HBM 시장에서 치열하게 싸우던 와중에, 예상하지 못했던 지각변동이 시작됐습니다. 메모리 반도체 시장에서 만년 3위를 기록하던 미국 마이크론이 존재감을 키우기 시작한 것입니다. 마이크론은 4세대 HBM을 건너뛰고 2024년 5세대 HBM3E 8단 양산을 시작하며 엔비디아 공급망에 진입했습니다.

삼성전자, SK하이닉스, 마이크론의 ‘3파전’ 경쟁은 2026년 양산을 앞둔 6세대 HBM4부터 더 치열해질 것으로 보입니다. 지금까지는 가장 먼저 시장에 진입해 선두를 달리던 SK하이닉스가 ‘절대적인 1인자’ 지위를 유지해 왔는데, 글로벌 메모리 반도체 기업들이 빠른 속도로 기술력을 높이면서 HBM4 시장에서 주도권을 차지하겠다고 나서고 있기 때문입니다.

SK하이닉스 HBM4.(사진=SK하이닉스)

성능·패키징·베이스 다이…각 사 전략은

그렇다면 HBM4에서는 어떤 것이 더 중요해질까요. 엔비디아는 HBM4를 만드는 글로벌 반도체 기업들에 국제반도체표준협의기구(JEDEC)가 정한 표준 데이터 처리 속도인 초당 8기가비트(8Gbps) 이상인 10Gbps 이상을 달성해달라고 요구했습니다. 이에 메모리 3사는 이같은 동작 속도를 구현하는 데 심혈을 기울이고 있습니다. SK하이닉스와 삼성전자 모두 10Gbps를 훌쩍 넘는 11Gbps의 동작 속도를 갖췄습니다.

공정 기술을 살펴보면, SK하이닉스는 10나노급 5세대(1b) D램 기술 기반으로 한 어드밴스드 ‘대량 칩 접합 몰딩 방식’(MR-MUF) 패키징 기술을 적용합니다. MR-MUF는 반도체 칩을 위로 쌓아 올릴 때 칩과 칩 사이 공간에 액체 형태의 보호재를 넣어 굳히는 공정입니다. SK하이닉스는 이전 제품에서 이미 기술력이 검증된 공정을 사용해 양산 과정에서 리스크를 최소화한다는 전략입니다.

SK하이닉스의 어드밴스드 ‘대량 칩 접합 몰딩 방식’(MR-MUF) 패키징 기술.(사진=SK하이닉스 뉴스룸)

삼성전자는 10나노급 6세대(1c) D램 기술에 집중하고 있습니다. 업계에서 처음으로 기술 난도가 더 높은 1c 공정을 채택하면서 차별화를 시도하겠다는 것으로 보입니다. 삼성전자의 패키징 공정도 SK하이닉스와 다른 ‘열압착 비전도성 접착필름’(TC-NCF) 방식입니다. 칩을 하나씩 쌓을 때마다 필름형 소재를 까는 이 방식은 열과 압력을 통해 칩과 기판을 직접 붙이는 만큼 MR-MUF보다 접합 강도가 높고 외부 충격에도 강하다는 특징이 있습니다. 마이크론 역시 TC-NCF 패키징 기술을 채택하고 있습니다.

HBM 가장 아랫단에 있는 ‘베이스 다이’ 전략에도 차이가 있습니다. 베이스 다이는 GPU와 직접 연결되는 받침대 역할을 합니다. 기존 5세대 HBM까지는 베이스 다이가 GPU와 메모리를 연결하는 단순 통로 역할을 했다면, HBM4부터는 두뇌 역할까지 맡게 되는 등 중요성이 더 커질 것으로 보입니다.

SK하이닉스와 삼성전자는 파운드리 업체와 협력해 첨단 공정을 적용하기로 했습니다. SK하이닉스는 대만 반도체 위탁 생산(파운드리) 기업 TSMC의 12나노 공정을 채택했습니다. 삼성전자는 자사 파운드리사업부의 4나노 공정을 적용할 예정입니다. 이를 통해 성능과 전력 효율을 개선한다는 계획입니다. 마이크론은 자체 기술력으로 베이스 다이를 제조해 적용할 예정입니다.