LLM 커뮤니티 › 자유게시판

[4편] 젠슨황과 SK하이닉스가 왜 같이 검색될까? – LLM 속도를 결정하는 HBM과 '메모리 병목' 쉽게 이해하기

작성자: 관리자A · 게시판: 자유게시판 · 2026-11-10 13:01 · 추천 0 · 댓글 1


개인적인 견해

※ 기술을 설명하는 글이며, 투자 조언이 아닙니다.

이번 주 젠슨황과 SK하이닉스 검색량이 크게 늘었습니다. 둘이 같이 오르내리는 이유는 단순히 "거래 관계"라서가 아니라, LLM이라는 기술 자체의 구조에 있습니다. 이번 글에서는 그 구조를 누구나 이해할 수 있게 설명하고, 이 원리가 API를 쓰거나 로컬 LLM을 돌리는 우리에게 어떤 의미인지까지 소개해 드리겠습니다.

1. 비유로 이해하기: 요리사와 냉장고

GPU를 엄청나게 빠른 요리사라고 생각해 보겠습니다. 이 요리사는 1초에 재료 수천 개를 손질할 수 있습니다. 그런데 재료는 냉장고에 있고, 냉장고 문이 좁아서 한 번에 꺼낼 수 있는 양이 정해져 있습니다.

요리사가 아무리 빨라도 재료가 늦게 나오면 손을 놓고 기다릴 수밖에 없습니다. 여기서 요리사의 손 속도가 GPU의 계산 능력(TFLOPS), 냉장고 문 크기가 메모리 대역폭(TB/s)입니다.

LLM은 단어(토큰) 하나를 쓸 때마다 모델 전체, 즉 냉장고 안의 재료 전부를 한 번씩 꺼내 봐야 합니다. 그래서 답변을 한 글자씩 만드는 동안 GPU는 대부분의 시간을 기다리며 보냅니다. 이것을 "메모리 병목"이라고 부릅니다.

2. 숫자로 확인하기: 루프라인 모델

이 관계를 그래프로 그린 것이 "루프라인(Roofline) 모델"입니다. 하드웨어 성능의 상한은 두 개의 천장으로 정해집니다.

달성 가능 성능 = min(피크 연산 성능, 메모리 대역폭 × 산술 강도)
산술 강도 = 연산량(FLOP) ÷ 메모리에서 읽은 데이터 양(byte)

산술 강도는 "재료 1g을 꺼냈을 때 얼마나 많은 요리를 하느냐"입니다. 이 값이 낮으면 냉장고 문(메모리)에, 높으면 요리사 손(연산)에 성능이 묶입니다. 두 직선이 만나는 지점을 능선점(ridge point)이라고 합니다.

엔비디아 H100(BF16 약 989TFLOPS, 메모리 대역폭 3.35TB/s)으로 계산하면 능선점은 약 295FLOP/byte입니다. 즉 메모리에서 1byte를 읽을 때마다 295번 이상 계산해야 GPU를 꽉 채워 쓸 수 있습니다.

그런데 LLM이 답변을 만들 때(디코딩), 한 번에 요청 1개를 처리하면 산술 강도는 약 1FLOP/byte에 불과합니다. 가중치 1개(2byte)를 읽어서 곱셈·덧셈 2번만 하기 때문입니다. 여러 요청을 묶어서 한 번에 처리하면(배치) 같은 가중치로 여러 계산을 하니 산술 강도가 배치 크기만큼 올라갑니다.

상황

산술 강도

달성 가능 성능

피크 대비

디코딩, 요청 1개

약 1

약 3.4 TFLOPS

0.3%

디코딩, 요청 16개 묶음

약 16

약 54 TFLOPS

5%

디코딩, 요청 128개 묶음

약 128

약 429 TFLOPS

43%

디코딩, 요청 512개 묶음

약 512

989 TFLOPS

100%

프롬프트 읽기(프리필), 2천 토큰

약 2,048

989 TFLOPS

100%

요청 1개만 처리하면 H100의 계산 능력 중 0.3%만 쓰고 나머지는 놉니다. 반면 질문을 처음 읽어 들이는 단계(프리필)는 수천 토큰을 한 번에 처리하므로 처음부터 계산 능력을 꽉 채웁니다.

(참고로 어텐션 부분은 요청마다 각자의 대화 기억(KV 캐시)을 읽기 때문에 배치를 키워도 산술 강도가 오르지 않습니다. 대화가 길수록 이 부분이 또 하나의 메모리 병목이 됩니다. 1편의 KV 캐시 계산과 이어지는 내용입니다.)

3. 그래서 HBM이 중요합니다

디코딩이 메모리에 묶여 있으니, GPU 세대가 바뀔 때 LLM 답변 속도는 계산 능력보다 메모리 대역폭을 따라갑니다. 그리고 데이터센터 GPU의 메모리 대역폭을 책임지는 것이 HBM(High Bandwidth Memory)입니다. D램을 수직으로 쌓아 GPU 바로 옆에 붙인 메모리로, 일반 그래픽카드 메모리(GDDR)보다 훨씬 넓은 통로를 가지고 있습니다.

GPU

메모리

GPU당 대역폭

H100 대비

RTX 5090 (소비자용)

GDDR7 32GB

1.79 TB/s

0.5배

H100

HBM3 80GB

3.35 TB/s

1배

H200

HBM3E 141GB

4.8 TB/s

1.4배

B200

HBM3E 192GB

8 TB/s

2.4배

Rubin (2026)

HBM4 288GB

19.2 TB/s

5.7배

HBM4는 2025년 4월 JEDEC 표준으로 확정됐고, 데이터 통로 폭을 2,048bit로 이전 세대의 두 배로 늘린 것이 핵심입니다. 엔비디아의 차세대 GPU 루빈(Rubin)이 이 HBM4를 GPU당 288GB 탑재합니다.

흥미로운 점이 하나 있습니다. 엔비디아는 루빈의 메모리 대역폭을 처음에 GPU당 22TB/s로 발표했는데, 2026년 10월 공식 제품 페이지에서는 19.2TB/s로 낮춰 표기했습니다. 업계에서는 목표 속도를 맞추는 HBM4 물량이 부족해, 기준을 낮춰 생산량을 확보하려는 것으로 보고 있습니다. 그만큼 지금 AI 업계의 병목이 메모리라는 뜻입니다.

4. 메모리 업계는 지금

5. 그래서 우리한테 무슨 의미가 있나

API를 쓰는 분: 출력 토큰이 비싼 이유와 아끼는 법

대부분의 LLM API는 출력 토큰을 입력 토큰보다 몇 배 비싸게 받습니다. 이제 이유가 보입니다. 입력(프리필)은 GPU를 꽉 채워 쓰지만, 출력(디코딩)은 토큰마다 메모리를 다시 읽어야 해서 GPU 시간당 처리량이 낮기 때문입니다.

로컬 LLM을 돌리는 분: 속도를 올리는 법

6. 한 줄 정리

LLM 시대의 성능은 "얼마나 빨리 계산하느냐"보다 "얼마나 빨리 퍼오느냐"가 결정합니다. 젠슨황과 SK하이닉스가 같이 검색되는 건 그래서 자연스러운 일입니다.


References

  1. Williams, Waterman, Patterson, Roofline: An Insightful Visual Performance Model for Multicore Architectures, CACM 52(4), 2009. https://doi.org/10.1145/1498765.1498785

  2. Yuan et al., LLM Inference Unveiled: Survey and Roofline Model Insights, arXiv:2402.16363 (2024). https://arxiv.org/abs/2402.16363

  3. NVIDIA, H100 Tensor Core GPU. https://www.nvidia.com/en-us/data-center/h100/

  4. FourWeekMBA, Nvidia Cuts Vera Rubin Memory Bandwidth to 19.2 TB/s per GPU (2026.10). https://fourweekmba.com/ai-nvidia-cuts-vera-rubin-memory-bandwidth-to-19-2-tb-s-per-gpu/

  5. Counterpoint Research, Global DRAM and HBM Market Share: Quarterly. https://counterpointresearch.com/insights/global-dram-and-hbm-market-share

  6. All About Circuits, JEDEC Officially Releases HBM4 Memory Standard (2025.04). https://www.allaboutcircuits.com/news/jedec-officially-releases-hbm4-memory-standard

  7. Leviathan, Kalman, Matias, Fast Inference from Transformers via Speculative Decoding, arXiv:2211.17192 (2022). https://arxiv.org/abs/2211.17192

댓글 1개

자유게시판의 다른 글