특정 GPU가 “메모리를 줄이는 방안을 검토한다”는 헤드라인이 나오면 흔히 ‘스펙 다운그레이드=나쁜 신호’로 읽힌다. 하지만 이 문장은 실제로는 최소 세 가지 서로 다른 조정을 뭉뚱그린 표현이다. 이 글은 그 세 축을 분리해, 왜 공급 제약이 완성품 설계 사양까지 되돌리는지를 개념으로 판다.
‘메모리를 줄인다’가 가리킬 수 있는 세 가지
GPU에 붙는 HBM을 조정하는 방법은 하나가 아니다.
- 스택 수를 줄인다: 패키지에 붙이는 HBM 스택 개수 자체를 줄인다. 용량과 총 대역폭이 함께 내려간다.
- 스택당 용량(단수)을 줄인다: 스택은 유지하되 층 수나 다이 용량을 낮춘다. 용량은 줄지만 대역폭은 상대적으로 덜 영향받는다.
- 세대(속도 등급)를 낮춘다: 최신 HBM 세대 대신 확보가 쉬운 등급을 쓴다. 대역폭이 내려가지만 용량은 유지될 수 있다.
즉 “줄인다”는 단어 하나로는 무엇이 내려가는지를 알 수 없다. 여기서 첫 번째 오독이 생긴다. 용량을 줄인 것과 대역폭을 줄인 것은 완전히 다른 이야기인데, 헤드라인은 이를 구분하지 않는다.
용량과 대역폭은 같은 축이 아니다
메모리를 이해하는 핵심은 용량(capacity)과 대역폭(bandwidth)을 분리하는 것이다.
- 용량은 “한 번에 얼마나 담을 수 있나”다. 단위는 GB. 창고의 크기에 해당한다. 모델 파라미터·컨텍스트가 커질수록 더 큰 창고가 필요하다.
- 대역폭은 “초당 얼마나 많은 데이터를 나르나”다. 단위는 TB/s. 창고와 연산기 사이 도로의 폭이다.
큰 창고가 있어도 도로가 좁으면 연산기가 데이터를 기다린다(대역폭 병목). 반대로 도로가 넓어도 창고가 작으면 모델 자체가 안 들어간다(용량 병목). AI 워크로드마다 어느 쪽에 먼저 막히는지가 다르기 때문에, 설계자가 “어느 축을 깎아도 덜 아픈가”를 판단할 여지가 생긴다.
그래서 “메모리를 줄인다”가 반드시 성능 저하를 뜻하지 않는다. 만약 특정 워크로드가 용량은 여유가 있고 대역폭이 병목이라면, 용량을 조금 깎아 확보 물량을 늘리는 선택은 체감 성능 손실이 제한적일 수 있다. 어느 축이 그 제품의 실제 병목인지가 판단의 전부다.
왜 공급 제약이 완성품 사양을 되돌리는가
일반 부품이라면 “부족하면 더 주문한다”로 끝난다. HBM은 다르다. 이 부품은 GPU 경제성의 여러 변수를 동시에 쥐고 있다.
- 원가 비중: 고성능 GPU 재료비에서 HBM이 차지하는 몫이 크다. 스택을 하나 더 붙이면 원가 곡선이 눈에 띄게 움직인다.
- 수율·조립 난이도: 스택을 높이 쌓고 로직 위에 붙이는 과정 자체가 수율을 갉아먹는다. 스택이 많을수록 완성품 하나를 만드는 난이도가 올라간다.
- 확보 가능 수량: 세계에서 최신 HBM을 만들 수 있는 공급자는 소수다. 필요한 만큼 못 구하면, 스펙을 낮춰 물량을 확보하는 쪽이 더 많은 완성품을 출하하는 길이 된다.
여기서 비직관적인 지점이 나온다. 사양을 낮추는 것이 오히려 총 출하량을 늘리는 합리적 선택일 수 있다는 것이다. 부품당 HBM 소모를 줄이면 같은 HBM 물량으로 더 많은 GPU를 만들 수 있다. 공급이 병목일 때, 설계는 성능 극대화가 아니라 ‘확보 가능한 총량 극대화’ 문제로 바뀐다.
축이 바뀌면 성장률의 착시가 생긴다
HBM 세대가 올라갈 때마다 스택당 용량·대역폭이 큰 폭으로 뛴다. 이때 출발점(기저)이 낮으면 “몇 배 향상”이라는 성장률 숫자가 쉽게 커진다. 하지만 성장률(%)과 절대 위치(GB, TB/s)는 다른 축이다. 낮은 기저에서 출발한 향상률은 인상적으로 보이지만, 그것이 워크로드가 요구하는 절대 수준을 채우는지는 별개 문제다.
아래에서 출발점(기저)을 직접 낮춰 보라 — 같은 절대 증가라도 기저가 낮을수록 성장률(%)이 어떻게 부풀려 보이는지 만져볼 수 있다.
이 착시는 세대 전환기마다 반복된다. “차세대는 몇 배”라는 표현이 절대 수준의 충분함을 보장하지 않으며, 반대로 공급 제약으로 사양이 낮아진 제품이 “몇 배 향상”의 절대치는 여전히 이전 세대를 크게 웃돌 수도 있다. 숫자를 읽을 때 비율인지 절대치인지를 구분하는 습관이 필요하다.
정리 — ‘줄인다’를 세 축으로 되읽기
한 문장 헤드라인을 개념으로 되읽으면 이렇게 정리된다.
- “줄인다”가 용량인지, 스택 수인지, 세대(대역폭)인지 먼저 구분한다.
- 그 축이 해당 워크로드의 실제 병목인지 묻는다. 병목이 아닌 축을 깎으면 체감 영향은 제한적일 수 있다.
- 공급이 병목일 때 사양 조정은 성능 문제가 아니라 총 확보 물량 최적화 문제로 읽힌다.
이 글은 특정 GPU·메모리 종목이나 ETF를 사라거나 팔라는 이야기가 아니고, 특정 사양 변경이 실적이나 주가에 유리·불리하다는 방향성 판단도 아니다. ‘메모리를 줄인다’는 한 줄의 뉴스를 용량·대역폭·공급 제약이라는 반복되는 축으로 분해해 읽는 법을 다룬 교육 자료다. 실제 제품 사양과 수치는 공식 발표와 원자료로 확인해야 한다.