‘30% 더 빠르다’는 숫자는 무엇을 재는가
“NVHBM이 HBM4E 대비 30% 높은 대역폭을 약속한다”는 헤드라인은 깔끔하다. 하지만 대역폭이라는 단일 숫자는 여러 서로 다른 물리적 레버의 곱으로 만들어진다. 크게 세 가지다.
- 핀 속도(주파수): 데이터 핀 하나가 초당 몇 번 뒤집히는가.
- 인터페이스 폭(채널·핀 수): 동시에 몇 개의 통로로 데이터를 보내는가.
- 스택·통합 구조: 메모리 다이를 몇 층 쌓고, 베이스 다이에 어떤 로직을 넣는가.
대역폭 = (핀 속도) × (핀 수) 라는 아주 단순한 곱셈이 골격이다. 그래서 “30% 향상”은 핀 속도만 30% 올려도, 핀 수만 30% 늘려도, 혹은 둘을 조금씩 섞어도 만들 수 있다. 같은 30%라도 어느 레버를 당겼느냐에 따라 대가가 완전히 다르다.
핀 속도를 올리면 신호 무결성 문제와 함께 전력이 비선형으로 증가하는 경향이 있다. 핀 수를 늘리면 패키지·인터포저 면적과 비용이 커진다. 이 트레이드오프를 무시한 채 “30%“만 보면, 그 숫자가 실제 시스템에서 어떤 청구서를 남기는지 알 수 없다.
진짜 제약은 대역폭이 아니라 전력 예산일 때가 많다
데이터센터를 설계할 때 물리적으로 먼저 부딪히는 벽은 흔히 “이 랙에 몇 와트를 넣고 뽑아낼 수 있는가”다. 건물의 전력 인입, 냉각 용량, 그리고 열 밀도가 상한을 만든다. 이 상한이 고정된 상태에서 성능을 늘리려면, 비트 하나를 옮기는 데 드는 에너지(pJ/bit)를 낮춰야 한다.
여기서 두 개의 다른 축이 갈라진다.
- 원시 대역폭 (GB/s): “얼마나 빨리 옮기나.”
- 와트당 대역폭 (GB/s per W, 혹은 역수로 pJ/bit): “같은 전력으로 얼마나 옮기나.”
원시 대역폭이 30% 높아도, 그 향상을 핀 속도 인상으로 얻어 전력이 40% 늘었다면, 전력이 고정된 시스템에서는 오히려 넣을 수 있는 메모리 총량이 줄어 실효 성능이 나빠질 수 있다. 반대로 통합 구조 개선으로 pJ/bit를 낮추면서 얻은 30%라면, 같은 전력 예산에서 그대로 이득이 된다.
전력·발열 오버헤드가 클수록 헤드라인 대역폭과 전력 예산 안에서 실제로 쓸 수 있는 대역폭의 간격이 벌어진다.
핵심은 헤드라인 대역폭과 실효 대역폭이 다른 숫자라는 점이다.
왜 ‘와트당’이 반복되는 개념인가 — 스케일링 법칙의 그림자
이건 이번 세대만의 이야기가 아니다. 로직 트랜지스터가 미세화로 성능·전력 개선을 얻던 시절이 둔화되면서, 시스템 성능의 병목은 “연산 자체”에서 “연산기에 데이터를 얼마나 싸게 날라주느냐”로 이동해 왔다. 메모리 대역폭이 세대마다 화제가 되는 이유가 여기 있다.
그런데 대역폭을 늘리는 물리 레버들은 하나같이 에너지 대가를 동반한다. 데이터를 멀리 보낼수록, 빠르게 뒤집을수록 비트당 에너지는 늘어나는 방향으로 작용한다. 그래서 산업은 “더 빠르게”만이 아니라 “메모리를 연산에 더 가깝게” 붙이는 방향(로직 위 메모리, 광 인터커넥트 등)으로도 움직인다. 이는 대역폭을 늘리면서 pJ/bit를 낮추려는 시도다.
즉 “대역폭 X% 향상” 헤드라인이 나올 때마다 반복해서 던질 질문은 고정돼 있다.
- 그 향상은 주파수·폭·통합 중 어느 레버에서 왔나?
- pJ/bit는 어떻게 변했나 — 좋아졌나, 나빠졌나, 그대로인가?
- 비용(다이 면적·패키징) 은 어떻게 변했나?
이 세 질문에 답하지 못하는 숫자는 마케팅 축이지 시스템 축이 아니다.
‘NVHBM’이라는 이름 — 스펙 경쟁이 아니라 사양 정의권 경쟁
‘NVHBM’ 같은 커스텀 명칭이 붙는다는 것 자체가 별개의 축을 드러낸다. 표준 HBM은 JEDEC 같은 컨소시엄이 세대별 사양을 합의한다. 반면 특정 대형 구매자가 자신의 시스템에 맞춘 커스텀 메모리를 정의하기 시작하면, 경쟁의 성격이 바뀐다.
이건 “누가 더 빠른 메모리를 만드나”의 문제가 아니라 “누가 메모리의 사양을 정의하느냐” 의 문제다. 사양 정의권이 구매자 쪽으로 넘어가면, 메모리 공급자는 표준 로드맵을 따르는 대신 특정 고객의 요구에 맞춰 베이스 다이 로직과 인터페이스를 커스터마이즈하게 된다. 그 결과 대역폭·pJ/bit·비용의 최적점이 “일반 시장 평균”이 아니라 “그 고객의 시스템”에 맞춰 정해진다.
따라서 “30% 높다”는 비교조차 신중히 읽어야 한다. 표준 HBM4E는 넓은 시장을 대상으로 한 절충안이고, 커스텀 메모리는 특정 시스템에 최적화된 점(point) 설계다. 두 값을 나란히 놓고 “우열”을 말하는 건, 서로 다른 목적함수를 푼 두 답안을 같은 자로 재는 것에 가깝다.
이 글은 특정 종목이나 ETF, 특정 메모리 공급사를 사라거나 팔라는 이야기가 전혀 아니다. “대역폭 30% 향상” 같은 헤드라인 숫자가 실제로 무엇을 재고 무엇을 숨기는지, 그리고 시스템 관점에서 진짜 제약이 어디에 있는지를 개념으로 풀어낸 교육 자료다. 스펙 숫자를 읽는 프레임을 제공할 뿐, 어떤 값이 안심·위험·투자 근거라고 말하지 않는다.