“HBM 공급난에 메모리 다이어트”라는 헤드라인은 절약 이야기처럼 들린다. 하지만 그 뒤에는 날짜가 지나도 반복되는 하나의 구조가 있다. 메모리 설계에는 용량(얼마나 담나)·대역폭(얼마나 빨리 퍼올리나)·전력(얼마나 태우나) 이라는 세 꼭짓점이 있고, 이 셋은 서로 묶여 있어 한 꼭짓점을 강하게 당기면 나머지 둘이 끌려간다. HBM은 이 삼각형에서 대역폭을 극단까지 밀어붙인 선택이고, 그 대가로 전력·비용·공급 난이도가 함께 올라간다.
삼각형: 하나를 얻으면 하나를 내준다
메모리를 고를 때 흔히 “용량이 크면 좋다”고 생각한다. 하지만 성능을 결정하는 건 용량만이 아니다. 연산 유닛이 데이터를 굶지 않게 하려면 초당 얼마나 많은 데이터를 퍼올리느냐, 즉 대역폭이 중요하다. HBM은 칩을 수직으로 쌓고 넓은 통로(인터페이스 폭)를 뚫어 대역폭을 극대화한다. 대신 쌓는 구조·넓은 인터페이스는 전력과 열, 제조 난이도를 함께 끌어올린다.
반대편 꼭짓점에는 LPDDR처럼 저전력에 초점을 둔 메모리가 있다. 같은 데이터를 옮겨도 와트당 효율이 좋지만, 대역폭의 절대치는 HBM에 미치지 못한다. 세 번째 꼭짓점인 용량은 또 다른 축이다. 대역폭이 아무리 높아도 담을 공간이 부족하면 모델이 메모리 밖으로 흘러넘친다.
‘다이어트’란 이 삼각형에서 무게중심을 옮기는 일이다. 대역폭 꼭짓점(HBM)이 비싸지거나 부족하면, 설계자는 전력·용량 꼭짓점 쪽으로 축을 끌어당긴다. 절약이 아니라 좌표 이동이다.
병목이 어디냐가 답을 바꾼다
핵심 비직관은 여기 있다. “저용량·저전력이 손해냐”는 질문의 답은 워크로드의 병목에 따라 뒤집힌다.
- 모델 파라미터가 메모리에 다 들어가지 않으면 용량 병목이다. 이땐 대역폭을 아무리 늘려도 소용없고, 용량을 확보하는 게 우선이다.
- 파라미터는 들어가지만 연산 유닛이 데이터를 기다리며 노는 시간이 길면 대역폭 병목이다. 이땐 HBM 같은 넓은 통로가 값을 한다.
같은 “AI”라도 국면이 다르다. 대규모 학습은 방대한 데이터를 빠르게 흘려야 해 대역폭에 목마르고, 추론(특히 서비스 단계)은 모델을 담아둔 채 반복 호출하므로 용량·전력·비용 균형이 더 크게 작동한다. 그래서 “저용량 대안”이 어떤 곳에선 성능을 거의 안 깎고, 다른 곳에선 치명적이다. 병목이 아닌 축을 줄이면 손실이 작다 — 이게 다이어트의 논리다.
공급난은 삼각형의 한 축만 비싸게 만든다
공급난이 특별한 이유는, 삼각형의 세 축을 균등하게 조이지 않기 때문이다. HBM처럼 제조 난이도가 높고 특정 공정에 몰린 축이 먼저, 더 크게 조인다. 그 결과 대역폭 축의 ‘단가’만 튀어 오른다.
경제학적으로 이건 상대가격의 변화다. 한 축이 비싸지면 수요는 상대적으로 싼 축으로 밀려난다. 그래서 공급난은 자동으로 “다른 꼭짓점으로 재설계하라”는 압력을 만든다. 이 압력은 이번 사건이 지나가도, 대역폭 축이 다시 조일 때마다 같은 방향으로 반복된다.
여기서 흔한 오해 하나. ‘대안을 찾는다’가 곧 ‘HBM이 진다’는 뜻은 아니다. 삼각형은 승자를 정하지 않는다. 병목이 여전히 대역폭인 워크로드에선 다른 축으로 옮겨봐야 성능이 무너진다. 다이어트는 병목이 아닌 곳에서만 통한다.
목표와 구현 사이의 마찰
이상적인 목표(원하는 성능)와 실제 구현(고른 메모리) 사이에는 항상 마찰이 낀다. 대역폭을 줄이거나 전력을 조이면 목표 성능과의 차이(방향)와, 워크로드에 따라 흔들리는 편차(변동)가 함께 생긴다.
다이어트를 재는 세 개의 자
정리하면, “메모리 다이어트”를 사건이 아니라 개념으로 읽는 세 개의 자는 이렇다.
- 어느 꼭짓점을 당기는가 — 대역폭·용량·전력 중 무엇을 우선하고 무엇을 내주는가.
- 병목이 어디인가 — 줄이려는 축이 그 워크로드의 병목이 아니어야 손실이 작다.
- 왜 지금인가 — 상대가격(공급·전력·비용) 중 무엇이 조여서 축을 옮기게 됐는가.
이 세 자로 보면, 특정 메모리가 ‘뜬다/진다’는 서사보다 어떤 워크로드가 어느 꼭짓점을 필요로 하는가라는 지도가 먼저 보인다.
이 글은 특정 메모리 종목이나 ETF를 사라거나 팔라는 이야기가 아니다. HBM·LPDDR·DRAM 중 무엇이 이긴다는 전망도, 목표가도 아니다. 용량·대역폭·전력이 서로를 잡아먹는 트레이드오프라는 반복되는 개념을 재는 자를 제공하는 교육 자료일 뿐이다. 실제 선택은 워크로드·공정·비용이라는 구체 조건에 따라 갈린다.