“AI칩은 HBM을 쓴다”는 문장이 참인 조건
지난 몇 년의 AI 반도체 서사에서 “AI 가속기 = HBM”은 거의 등식처럼 쓰였다. 이 등식은 틀린 게 아니라, 특정 조건 아래서 참인 근사식이다. 그 조건은 “워크로드가 대규모 학습(training) 중심”이라는 것이다.
거대 모델 학습은 수십억~수조 개 파라미터를 매 스텝마다 반복해 읽고 갱신한다. 이때 병목은 연산 유닛이 아니라 메모리에서 데이터를 얼마나 빨리 퍼올리느냐, 즉 대역폭이다. HBM은 실리콘을 수직으로 쌓아 넓은 데이터 통로를 확보하는 구조라 이 갈증을 가장 잘 채운다. 그래서 학습 가속기는 값과 공급 제약을 감수하고 HBM을 택했다.
문제는 이 등식을 모든 AI칩·모든 시기로 확장할 때 생긴다. “HBM 안 쓰는 AI칩이 커진다”는 헤드라인이 혼란스러운 이유는, 등식의 ‘조건’을 지운 채 ‘결론’만 외웠기 때문이다.
메모리 선택은 하나의 축이 아니라 네 개의 축
가속기가 어떤 메모리를 얹을지는 최소한 네 축에서 결정된다.
- 대역폭(bandwidth) — 초당 얼마나 많은 데이터를 옮기나. HBM의 강점.
- 용량(capacity) — 모델·데이터를 얼마나 담나. 큰 모델을 통째로 올리려면 용량이 중요.
- 비용(cost) — 비트당 단가와 패키징 비용. HBM은 어드밴스드 패키징이 필요해 비싸다.
- 전력(power) — 대역폭당 전력. 엣지·모바일·밀집 서버에선 전력이 상한을 건다.
HBM은 이 중 대역폭 축에서 압도적이지만 나머지 축에서는 절대 강자가 아니다. GDDR은 대역폭과 비용의 중간 지대, LPDDR은 전력·비용 우위, 온칩 SRAM은 지연·전력에서 유리하나 용량이 작다. “HBM을 안 쓴다”는 선택은 성능을 포기한 것이 아니라 축을 바꾼 것이다. 어떤 워크로드는 대역폭 갈증이 덜한 대신 용량·단가·전력이 더 결정적이고, 그런 워크로드가 커지면 대안 메모리를 얹은 가속기가 자연스럽게 늘어난다.
총량과 믹스는 다른 축이다 — 분기의 핵심
여기서 가장 자주 저지르는 오독은 “HBM 안 쓰는 칩이 커지면 HBM 수요가 준다”는 자동 연결이다. 이건 **총량(전체 메모리 수요)**과 **믹스(제품군별 배분)**를 뭉갠 것이다.
AI칩 전체 수요가 늘어나는 국면에서, 그 수요가 메모리 제품군으로 흐르는 방식은 워크로드 믹스에 달려 있다. 학습이 주도하면 HBM 갈래가 굵고, 추론·엣지가 넓어지면 GDDR·LPDDR·서버 DRAM 갈래가 함께 굵어진다. 파이 전체가 커지는 동안 각 조각의 비율만 바뀔 수도 있다.
구성비를 바꾸면 집계값이 어떻게 끌려 움직이는지 직접 만져 보라. 슬라이더로 워크로드 믹스를 옮기면, ‘총 메모리 수요’라는 하나의 숫자만 봐서는 그 안에서 어떤 갈래가 굵어졌는지 구분하지 못한다는 걸 확인할 수 있다.
구성 변화와 집계 변화는 산술적 관계입니다. 어느 쪽이 원인인지는 이 그림이 말해주지 않습니다.
이 그림의 교훈은 방향이 아니라 구조다. 집계값 하나(전체 AI 메모리 수요)로는 그 안에서 HBM 갈래가 굵어졌는지, 대안 메모리 갈래가 굵어졌는지 원인을 분리할 수 없다. “HBM 안 쓰는 칩”이라는 뉴스는 믹스 축의 이야기이지, 총량 축의 결론이 아니다.
왜 이 분기가 메모리 공급사에게 특별히 중요한가
메모리 공급사 관점에서 이 분기가 유난히 민감한 이유는 이익 집중도 때문이다. HBM은 단가와 마진이 높아, 몇몇 공급사에게 HBM은 ‘매출 한 줄’이 아니라 ‘이익의 큰 몫’을 차지한다. 즉 HBM 갈래의 굵기가 곧 이익 곡선의 굵기와 강하게 연동돼 있다.
그래서 워크로드 믹스가 대안 메모리 쪽으로 넓어지는 국면은, 매출 총량이 유지되더라도 이익의 구성과 변동성을 바꿀 수 있다. 반대로 대안 메모리(서버 DRAM·GDDR·LPDDR) 역시 같은 공급사가 만드는 제품이므로, 분기가 곧 손실을 뜻하지도 않는다. 이것이 ‘위협이자 기회’라는 흔한 표현의 실제 메커니즘이다 — 위협은 이익 믹스의 프리미엄 축이 흔들릴 가능성, 기회는 넓어진 파이의 다른 갈래를 같은 손으로 담을 수 있다는 점.
핵심은 하나다. “AI칩 수요 = HBM 수요”라는 한 줄 등식을 쓰는 순간, 믹스라는 축을 통째로 잃는다. 분기하는 갈래를 하나의 곡선으로 뭉개면, 총량이 늘어도 이익이 왜 흔들리는지 설명할 언어가 사라진다.
이 글이 하지 않는 것
이 글은 특정 종목이나 ETF를 사라거나 팔라는 이야기가 아니며, HBM 수요가 늘어난다·줄어든다는 방향을 예측하지도 않는다. “HBM 안 쓰는 AI칩”이라는 반복해서 등장할 뉴스 유형을, 대역폭·용량·비용·전력이라는 네 축과 ‘총량 vs 믹스’라는 구분으로 읽는 개념 틀을 제공하는 교육 자료다. 실제 제품군별 수요·이익 배분은 시점마다 데이터로 확인해야 하며, 이 글은 그 데이터를 해석할 축을 정리했을 뿐이다.