병목은 ‘계산기’가 아니라 ‘나르는 길’에 있다
AI 칩 이야기를 하면 대부분 “몇 테라플롭스, 몇 개의 코어”처럼 연산 능력부터 떠올린다. 그런데 실제로 대형 모델을 돌릴 때 연산기가 노는 시간이 놀라울 만큼 많다. 이유는 단순하다. 계산할 데이터가 메모리에서 연산기까지 아직 도착하지 않았기 때문이다.
이 현상을 반도체 설계에서는 메모리 월(memory wall) 이라고 부른다. 수십 년간 연산 성능은 빠르게 올랐지만, 메모리에서 데이터를 꺼내 나르는 속도(대역폭)는 그만큼 따라오지 못했다. 그 결과 “계산기는 빠른데 재료가 안 온다”는 구조적 불균형이 생겼고, AI 시대에 이 격차가 성능 상한을 정하는 실질적 요인이 됐다.
여기서 HBM(High Bandwidth Memory)이 등장한다. HBM은 메모리를 여러 층 쌓아 데이터가 지나가는 통로를 넓게 뚫은 메모리다. 즉 HBM의 존재 이유 자체가 “연산 성능”이 아니라 “메모리 월을 뒤로 밀어내는 것”에 있다.
HBM을 GPU ‘옆’이 아니라 ‘위’에 쌓는다는 것
기존 HBM은 GPU 바로 옆에 나란히 놓인다. 둘 사이는 인터포저라는 판 위의 배선으로 연결된다. 짧아 보여도 전기 신호 입장에서는 상당한 거리다. 그리고 신호가 이동하는 거리가 길수록 두 가지가 나빠진다 — 전력(같은 데이터를 나르는 데 더 많은 전기)과 지연(도착까지 더 걸림).
‘GPU 위에 HBM을 수직으로 적층한다’는 접근(삼성이 예고한 이른바 zHBM 계열의 아이디어가 이 방향이다)은 바로 이 거리를 물리적으로 줄이려는 시도다. 옆으로 mm 단위였던 배선을, 위아래로 마이크로미터 단위까지 좁힌다. 그러면 같은 대역폭을 더 적은 전력으로 넘길 수 있다.
중요한 건 이게 새로운 메모리 셀의 발명이 아니라 ‘배치의 발명’ 이라는 점이다. 셀은 크게 안 바뀌어도, 어디에 어떻게 붙이느냐로 시스템 전체 성능이 달라진다. 이 지점이 반도체 경쟁의 무게중심을 바꾼다.
병목은 사라지지 않는다 — 자리를 옮길 뿐이다
수직 적층으로 ‘데이터 이동 거리’라는 병목을 줄이면, 그 대가로 새로운 병목이 등장한다. 대표적으로 열이다. 뜨거운 GPU 바로 위에 열에 민감한 메모리를 쌓으면, 두 발열원이 겹쳐 온도가 한 곳에 몰린다. 이걸 어떻게 식히느냐(방열)가 곧바로 새 제약이 된다.
또 하나는 본딩과 수율이다. 층을 정밀하게 접합하는 공정(하이브리드 본딩 등)은 한 곳만 틀어져도 전체 스택이 불량이 된다. 층이 높아질수록 수율 관리는 기하급수적으로 어려워진다.
정리하면 이렇다. 병목은 없어지는 게 아니라 ‘전기 배선 거리’ → ‘열·본딩·수율’로 이동한다. 성능 지표를 읽을 때 “대역폭이 몇 배 늘었다”만 보면 절반만 본 것이다. 그 대역폭을 실제로 안정적으로 뽑아내려면 열과 수율이라는 새 병목을 넘어야 한다.
여기서 흔히 오해하는 게 있다. “메모리 회사가 앞서 나가면 GPU 성능도 그만큼 따라 오른다”는 식의 단순 연동 가정이다. 실제로는 메모리 대역폭 개선과 시스템 실측 성능 사이엔 시차와 연동 강도가 있고, 어느 한쪽이 좋아졌다고 다른 쪽이 같은 날 같은 비율로 좋아지는 건 아니다. 아래에서 ‘먼저 움직인다’가 왜 개별 사건의 방향을 보장하지 않는지 직접 움직여 보라.
경쟁축이 ‘미세화’에서 ‘패키징’으로 이동한다
이 변화가 산업 구조에 주는 함의는 크다. 오랫동안 메모리 경쟁은 “누가 더 작은 셀을 만드느냐”라는 미세화 싸움에 가까웠다. 그런데 수직 통합 구조에서는 “누가 더 잘 붙이고, 쌓고, 식히느냐”라는 후공정·패키징 역량이 성능과 수율을 좌우하는 비중이 커진다.
이는 관련 개념 글에서 다룬 파운드리 vs 메모리 공급 레버리지나 메모리 기술 노드 격차의 관점을 한 단계 확장한다. 노드(공정 미세화)만으로 우열을 재던 프레임이, 이제 ‘패키징까지 포함한 시스템 통합 능력’으로 넓어지는 것이다.
부가가치의 위치 이동은 실적을 읽는 방식도 바꾼다. 판매 단위가 ‘메모리 칩’에서 ‘패키징된 모듈’로 넓어지면, 매출과 마진에 후공정 부가가치가 더 실린다. 그래서 마진을 볼 때 ‘셀 원가’만이 아니라 ‘패키징 수율’을 함께 봐야 한다 — 이는 DRAM·HBM 마진 수렴 논의와도 연결되는 관점이다.
이 글을 어떻게 쓸 것인가
이 글은 특정 기업의 신제품이 성공한다거나, 그래서 어떤 종목을 사거나 팔라는 이야기가 전혀 아니다. 목표가나 방향성 예측도 하지 않는다. ‘zHBM’ 같은 사건은 어디까지나 “메모리와 로직을 수직 통합하면 병목이 어디로 이동하는가” 라는 반복되는 개념을 설명하기 위한 예시일 뿐이다.
핵심만 다시 짚자. ① AI 성능 병목은 흔히 계산이 아니라 메모리 대역폭에 있다. ② 수직 적층은 데이터 이동 거리를 줄이지만 열·본딩·수율이라는 새 병목을 만든다. ③ 그 결과 경쟁축이 미세화에서 패키징으로 이동한다. 이 세 개념은 특정 제품이 뜨고 지는 것과 무관하게 계속 유효한 렌즈다. 이 글은 그 렌즈를 제공하는 교육 자료다.