HBM (High Bandwidth Memory)

HBM이 등장한 이유

HBM은 ‘D램의 대역폭 한계를 어떻게 넘을까’의 답으로 등장했다.

일반 DDR D램은 채널당 64비트 폭에서 동작하고, 한 D램 모듈이 수십~수백 GB/s의 대역폭을 제공한다.

그러나 GPU·AI 가속기는 한 칩에 수 TB/s의 메모리 대역폭이 필요하다.

단순히 클럭을 더 올리는 것은 전력·신호 무결성 한계로 어렵고, 채널을 옆으로 늘리는 것은 면적 한계가 있다.

답은 ‘좁고 길게’가 아니라 ‘넓고 짧게’였다.

HBM은 D램 다이 여러 장을 적층하고, TSV로 수직 연결해 한 패키지 안에서 1024비트 이상의 폭을 가진 인터페이스를 제공한다.

폭이 넓으니 클럭이 낮아도 대역폭이 매우 크고, 다이 옆에서 다이로 가는 거리가 짧아 전력당 비트가 작다.

HBM 구조: 적층 + TSV + 베이스 다이

HBM 한 패키지의 구조는 ‘D램 다이 적층 + 베이스 다이 + TSV + 마이크로 범프(또는 하이브리드 본딩)’이다.

가장 아래에 ‘베이스 다이(Base Die)’가 있고, 그 위에 D램 다이가 4·8·12·16단으로 쌓인다.

모든 다이를 TSV가 관통해 위·아래로 연결하고, 다이 간 인터페이스는 마이크로 범프(또는 차세대 하이브리드 본딩)로 결합된다.

베이스 다이는 외부 인터페이스(GPU·NPU와 연결되는 PHY), 컨트롤러, 테스트 회로 등을 가진다.

HBM 한 스택은 인터포저 위에 GPU/NPU 옆에 올라가, CoWoS 같은 첨단 패키징의 한 부품이 된다.

세대별 변화: HBM~HBM4

세대별로 HBM은 빠르게 진화해 왔다.

HBM(2013, AMD Fiji GPU와 함께 발표), HBM2(2016), HBM2E(2018), HBM3(2022), HBM3E(20232024), HBM4(20252026 양산 예정).

세대마다 채널당 데이터 속도, 적층 단수, 패키지 대역폭이 늘어 왔다.

예컨대 HBM3는 한 스택당 1.0 TB/s 수준의 대역폭을, HBM3E는 1.2 TB/s 이상을 제공한다.

HBM4는 2048비트 폭(HBM3까지의 2배)을 도입한다는 표준이 논의되고 있고, 이는 베이스 다이가 더 복잡해지고 인터포저 RDL이 더 미세해져야 함을 의미한다.

삼성전자 HBM3E 패키지 외형 · 이미지 출처: 삼성반도체

HBM 양산 흐름과 본딩

양산 흐름은 D램 다이 양산 → TSV 형성(Via-middle) → 박형화(thin-grinding) → 적층(스택 본딩) → 베이스 다이 본딩 → 패키지 검사·테스트 순이다.

적층 본딩은 한미반도체의 TC 본더가 한국 양산 라인에서 큰 점유율을 가지며, 일부 차세대 옵션은 하이브리드 본더로 옮겨가는 흐름이다.

적층 단수가 많을수록 단 한 단의 결함이 전체 스택의 fail로 이어지므로, KGD(Known Good Die) 선별과 TSV 검사가 매우 중요하다.

AI 가속기와 HBM 시장

AI 가속기와 HBM 시장은 직접적으로 연결되어 있다.

NVIDIA H100·H200은 HBM3·HBM3E 12단 스택을 사용하고, B200은 HBM3E를 더 많이 채용한다.

AMD MI300 시리즈, Intel Gaudi 시리즈, AWS Trainium, Google TPU 등도 모두 HBM을 사용한다.

AI 가속기 출하의 병목이 ‘CoWoS 캐파’와 ‘HBM 캐파’ 두 곳이라고 거론되는 이유다.

한 가속기 칩이 내장하는 HBM 용량과 단수가 늘면서, 단일 가속기에 HBM이 차지하는 가치 비중이 30~40%대까지 올라간다.

한국 HBM 산업의 위치

한국 HBM 산업의 위치는 매우 중요하다.

SK하이닉스는 HBM3·HBM3E에서 NVIDIA에 먼저 양산 공급하며 시장 점유율 1위에 올랐고, 삼성전자는 HBM3E 12단 양산 후 HBM4에서 격차를 좁히려 노력 중이다.

마이크론도 HBM3E 양산을 시작하며 점유율을 높이려 한다.

한국 OSAT·후공정 장비(한미반도체의 TC 본더, 이오테크닉스의 마킹·검사, 한화정밀기계의 본딩 장비)도 HBM 양산 흐름의 핵심 인프라로 자리잡았다.

HBM은 단순한 ‘D램의 변종’이 아니라, 첨단 패키징·이종집적·AI 시대의 상징이다. ‘D램은 표준 메모리이고 가격 사이클 산업이다’라는 오랜 인식이, HBM이라는 고부가 카테고리로 빠르게 다양화되고 있는 모습이 지금 메모리 산업의 가장 큰 변화다.