병목은 ‘연산’이 아니라 ‘통로’에 있다
AI 칩의 성능을 이야기할 때 사람들은 보통 초당 몇 연산(FLOPS)을 하느냐를 본다. 그런데 실제로 큰 모델을 돌릴 때 유닛이 노는 시간의 상당 부분은 ‘계산할 데이터를 아직 못 받아서’다. 연산 유닛은 준비됐는데, 메모리에서 또는 옆 칩에서 데이터가 도착하지 않아 기다린다.
이걸 ‘데이터 이동 병목’이라 부른다. 핵심은 이렇다 — 연산은 계속 빨라졌지만, 데이터를 나르는 통로는 같은 속도로 넓어지지 않았다. 연산과 데이터 공급 사이의 격차가 벌어질수록, 아무리 빠른 칩도 통로만큼만 일한다.
그리고 이 통로의 한계는 소프트웨어가 아니라 물리 법칙에 뿌리를 둔다. 그래서 상록수 개념이다 — 세대가 바뀌어도 같은 벽이 자리만 뒤로 밀며 반복된다.
구리의 저주: 빠를수록 멀리 못 간다
전기 신호를 구리 배선으로 보낼 때, 신호 주파수를 올리면(= 초당 더 많은 비트를 밀어넣으면) 손실이 커진다. 저항 손실과 유전 손실이 주파수에 따라 늘어, 고주파 신호일수록 빠르게 힘을 잃는다. 그래서 아주 빠른 신호는 아주 짧은 거리밖에 못 간다.
이걸 개념으로 요약하면 ‘대역폭 × 거리’가 대략 상한에 걸린다. 대역폭을 두 배로 하려면 거리를 절반으로 줄여야 하는 식의 맞바꿈이다. 칩 안에서는 짧으니 괜찮지만, 칩과 칩, 보드와 보드, 랙과 랙으로 거리가 늘어날수록 구리로는 감당이 안 된다.
여기서 흔한 착각이 하나 있다. “출발점이 낮은 쪽은 성장률(%)만 보면 커 보인다”는 것과 비슷하게, ‘대역폭 숫자’와 ‘그 대역폭이 미치는 거리’는 다른 축이라는 점이다. 스펙표의 큰 숫자는 대개 아주 짧은 거리에서의 값이다. 아래에서 출발점(기저)과 배율을 움직여, 하나의 숫자가 다른 축을 가릴 수 있다는 감각을 직접 만져 보라.
빛은 맞바꿈의 ‘기울기’를 바꾼다
광 신호는 이 맞바꿈의 성질이 다르다. 빛은 거리에 따른 손실이 전기 신호보다 훨씬 작다. 그래서 같은 거리에서 더 넓은 대역폭을 실어 나르거나, 같은 대역폭을 훨씬 먼 거리로 보낼 수 있다. ‘거리의 벽’을 뒤로 미는 것이다.
중요한 건 빛이 벽을 ‘없애는’ 게 아니라 맞바꿈의 기울기를 완만하게 만든다는 점이다. 구리가 급격히 무너지던 거리 구간에서 광은 여유가 있다. 그래서 데이터센터 안에서도 ‘어느 거리부터 빛으로 갈아타는가’라는 경계선이 계속 안쪽으로 들어온다 — 예전엔 랙과 랙 사이만 빛이었다면, 점점 보드 사이, 칩 사이로 광이 파고드는 방향이다.
이것이 ‘AI 병목을 빛으로 푼다’는 표현의 실제 내용이다. 연산을 빠르게 하는 게 아니라, 연산 유닛을 굶기던 통로를 넓히는 쪽이다.
공짜는 없다: 빛이 만드는 새로운 축
광이 유리하기만 하면 모든 배선이 이미 빛이어야 한다. 그렇지 않은 이유는 새로운 축의 비용이 생기기 때문이다.
- 광-전 변환 소자: 칩 안 연산은 전기다. 빛으로 보내려면 전기→빛, 받는 쪽에서 빛→전기로 바꿔야 한다. 이 변환 소자 자체가 공간·전력·비용을 먹는다.
- 정렬과 집적: 광 부품은 미세한 정렬 오차에도 민감하다. 이걸 칩 가까이(광-전 공동 집적) 붙일수록 대역폭은 좋아지지만 제조 난이도가 올라간다.
- 발열과 신뢰성: 변환 소자의 발열, 온도에 따른 파장 흔들림 등 전기 배선엔 없던 관리 항목이 늘어난다.
그래서 실무의 질문은 ‘빛이 좋냐’가 아니라 ‘어느 거리·어느 대역폭부터 빛의 이득이 변환 비용을 넘느냐’다. 짧은 거리에선 구리가 여전히 싸고 단순하고, 거리가 늘수록 저울이 빛으로 기운다. 이 저울은 신호 속도가 오를 때마다 다시 계산된다 — 그래서 반복되는 개념이다.
투자자가 읽어야 할 프레임
이 개념을 알면 헤드라인을 다르게 읽게 된다. ‘빛으로 병목을 풀었다’는 뉴스는 ‘연산이 몇 배 빨라졌다’가 아니라 ‘데이터 통로의 거리-대역폭 저울이 이동했다’는 이야기다. 그리고 그 이동은 곧바로 변환 소자·패키징·집적이라는 다른 공급망 질문을 만든다 — 이득이 한 곳에서 생기면 병목은 대개 옆 칸으로 옮겨간다.
이 글은 특정 종목이나 ETF를 사라거나 팔라는 이야기가 아니고, 어떤 기술이 이길지 점치는 글도 아니다. AI 반도체의 데이터 이동 병목이 왜 물리 법칙의 문제이며 어떤 축들로 나뉘는지를 개념으로 정리한 교육 자료다. 실제 판단은 각자의 책임과 별도의 확인 아래 이뤄져야 한다.