‘옆’에서 ‘위’로 — 왜 거리가 성능이 되나
AI 가속기와 메모리 사이에서 진짜 비싼 것은 연산이 아니라 데이터를 옮기는 일이다. 같은 곱셈을 하려 해도, 필요한 숫자를 멀리서 끌어오면 그만큼 시간과 전력이 든다. 그래서 메모리 아키텍처의 역사는 사실상 “메모리를 연산기 쪽으로 얼마나 가까이 붙이느냐”의 역사다.
HBM은 이미 그 답의 한 단계였다. 메모리를 보드 저편에 두지 않고, 인터포저 위에서 가속기 바로 옆에 세워 넓은 배선으로 연결했다. zHBM류의 방향은 여기서 한 걸음 더 나아간다 — 메모리를 옆이 아니라 연산칩 위에 직접 쌓는 것이다.
핵심은 용량이 아니다. 위로 쌓는다고 데이터가 더 담기는 게 요점이 아니라, 거리가 더 짧아진다는 게 요점이다. 배선이 짧고 넓을수록 같은 전력으로 더 많은 신호선을 병렬로 붙일 수 있고, 신호가 오가며 잃는 손실·지연이 준다. 대역폭은 결국 ‘선의 수 × 선당 속도’인데, 거리를 줄이면 이 둘이 동시에 유리해진다.
대역폭의 이득은 공짜가 아니다 — 두 발열원이 겹친다
문제는 연산칩이 칩 중에서도 가장 뜨거운 부품이라는 데 있다. 옆에 두던 메모리를 그 위에 얹으면, 발열원 두 개가 수직으로 포개진다. 아래(로직)에서 올라온 열이 위(메모리)로 그대로 전달되고, 열이 빠져나갈 통로는 오히려 좁아진다.
그런데 메모리는 열에 특히 예민하다. 온도가 오르면 셀이 저장한 값이 더 빨리 새어, 데이터를 다시 채우는 리프레시 주기가 짧아지고 오류율이 올라간다. 즉 메모리에게 온도 상한은 곧 동작 상한이다. 로직을 아무리 세게 돌려도, 그 위 메모리가 견디는 온도를 넘기면 시스템 전체가 속도를 낮춰야 한다.
여기서 비직관적인 지점이 나온다. 거리를 줄여 대역폭을 벌었는데, 바로 그 ‘가까움’ 때문에 열이 갇혀 대역폭을 다시 깎아야 할 수 있다. 거리 단축의 이득과 열 집중의 손실이 같은 결정에서 동시에 발생한다.
스펙 시트의 세 숫자는 사실 한 곡면이다
카탈로그를 보면 대역폭·전력효율·발열은 각각 별개의 숫자처럼 보인다. 하지만 적층 구조에서 이 셋은 독립 변수가 아니라, 하나의 맞교환 곡면 위 좌표다. 하나를 밀면 다른 하나가 눌린다.
- 대역폭을 끌어올리려 클럭·신호선을 늘리면 → 전력이 늘고 → 열이 오른다.
- 열을 낮추려 클럭을 낮추면 → 대역폭이 준다.
- 전력효율을 개선하면 → 발열 여유가 생겨 대역폭 상한이 다시 열린다.
그래서 “적층이 좋은가”라는 질문에는 하나의 정답이 없다. 워크로드가 짧고 강하게 몰아치는지 오래 지속되는지, 냉각이 얼마나 받쳐주는지, 공정이 열저항을 얼마나 줄였는지에 따라 최적점이 이동한다. 이것은 스펙 경쟁이라기보다 설계 선택의 문제다.
정리하면 ‘이론 대역폭’과 ‘열 제약 안에서 실제로 유지되는 대역폭’은 다른 값이다. 열·전력 제약이 클수록 둘의 간격이 벌어진다.
‘더 가까이’의 다음 벽
메모리를 연산기에 붙이는 흐름은 계속 이어져 왔다 — 멀리 → 옆 → 위. 방향은 늘 같지만, 붙일수록 마주치는 벽의 성격이 바뀐다. 옆에 둘 때는 인터포저 면적과 배선이 벽이었다면, 위에 쌓으면 열과 기계적 응력이 새 벽이 된다.
그래서 ‘적층 세대’를 읽을 때 대역폭 숫자만 보면 절반만 본 것이다. 그 대역폭을 어떤 온도·전력 조건에서 유지할 수 있는지 — 즉 지속 가능한 대역폭이 진짜 이야기다. 카탈로그의 최고치가 아니라, 그 최고치를 열 제약 안에서 얼마나 오래 붙잡아 두는가가 세대 간 차이를 만든다.
이 글은 특정 회사의 제품이나 메모리·반도체 종목을 사라거나 팔라는 이야기가 아니다. 특정 기술이 시장에서 이길지, 어떤 가격에 이를지를 예측하지도 않는다. ‘메모리를 연산칩 위에 직접 쌓는다’는 방향이 대역폭과 열을 왜 동시에 결정하는지, 그 반복되는 구조를 개념으로 이해하기 위한 교육 자료다. 실제 제품의 성능·신뢰성 특성은 각 제조사의 공식 자료로 확인해야 한다.