2026. 2. 17. 22:05ㆍ직장에서 탈출하기/산업 분석
1편에 이어서..
2026.02.17 - [직장에서 탈출하기/산업 분석] - 반도체 산업 1편
현재(2026년 기준) AI 업계가 투자가 많이 되고 있는 추세이다.(CAPEX, 자본 투, 벤더 파이낸싱 등)
- 그동안 그래픽처리장치(GPU)에는 GDDR6(Graphics Double Data Rate 6)라는 고성능 D램이 사용되어 왔으나 데이터 입출력 통로인 핀의 개수가 32개로 인공지능 연산에서는 데이터 이동 병목 현상이 발생
- 데이터 이동 병목 현상을 해소하기 위해 도입한 HBM 중 가장 최신 세대인 HBM3는 1024개의 핀을 탑재해 GDDR6 대비 12.8배 높은 대역폭을 가지면서 보다 빠른 데이터 처리가 가능
- 인공지능 시장이 확대되면서 HBM은 빠른 연산에 필수적인 메모리로 관련 업계의 주목을 받는 상황이 되었다.
다만, 현재 AI 업계에서는 크게 4가지 BottleNeck(병목)이 있는데 각각 자세히 알아보자. (이번 편에서는 1번 문제에 대해서 Deep Dive~)
- 메모리 대역폭 이슈
- 발열/전력 밀도
- Advanced Packaging 생산 능력
- EUV 기반 선단 공정 수율
메모리 대역폭(Memory Wall) 이슈
메모리 대역폭은 현재 가장 큰 병목으로 CPU/GPU 연산 속도는 빨라졌지만, 데이터를 기억장치(DRAM)에서 가져오는 속도가 너무 느려진 현상이다. 즉, 내부 연산 속도는 빨라졌지만 외부 메모리 사이의 데이터 전송 속도 차이로 인해 병목이 발생하게 되는 것이다!
폰 노이만 구조에서는 CPU/GPU가 떨어져 있어 데이터를 가져오는 속도에 한계점이 있다.
- 전통적 구조 (2D PCB): CPU와 일반 DRAM(DDR)은 별도의 독립된 패키지입니다. 이 둘은 초록색 PCB(인쇄회로기판) 위의 구리 배선을 통해 연결됩니다. 거리는 보통 수 cm 이상입니다.
- HBM 구조 (2.5D Packaging): CPU/GPU와 HBM이 "실리콘 인터포저(Silicon Interposer)"라는 특수 기판 위에 함께 올라가 하나의 패키지 안에 들어있습니다. 거리는 수 mm 이하로, 전통적 구조보다 수십 배 가깝습니다.
💡전기 신호가 PCB의 구리 선을 타고 수 cm를 가는 동안 발생하는 "지연 시간(Latency)"과 신호 감쇄를 막기 위한 전력 소모는 엄청납니다. HBM은 거리를 극단적으로 줄여 이 손실을 최소화했습니다.
이러한 문제들을 해결하기 위해 나온 것이 HBM(High Bandwidth Memory, 고대역폭 메모리)이다.
참고로, 메모리 반도체의 스펙은 용량, 속도, 대역폭으로 정해진다
1. 대역폭: 데이터가 메모리와 프로세서 간에 전송될 수 있는 속도
- 데이터 전송 효율: HBM은 높은 대역폭을 제공하여 데이터가 메모리와 프로세서 간에 빠르게 이동할 수 있도록 합니다. 이는 시스템의 전반적인 성능을 크게 향상합니다.
- 병목 현상 방지: 충분한 대역폭은 데이터 전송 시 발생할 수 있는 병목 현상을 줄여줍니다.
2. 속도: 메모리 반도체 내의 반응 속도 및 한 번에 이동시킬 수 있는 데이터의 양
- 응답 시간 개선: 높은 속도는 메모리 접근 시간을 줄여 응답성을 높입니다. 이는 실시간 처리나 고성능 컴퓨팅에 필수적입니다. - 작업 처리 능력 향상: 빠른 속도는 더 많은 작업을 동시에 처리할 수 있게 해 줍니다.
3. 용량: 기가바이트, 테라바이트 같은 단위로 나타나며, 실제 메모리 내에서 저장할 수 있는 데이터의 양
- 데이터 저장 증가: 용량이 클수록 더 많은 데이터를 저장할 수 있어, 복잡한 작업이나 대규모 데이터 처리가 가능합니다.
- 확장성 제공: 충분한 용량은 다양한 애플리케이션의 요구를 충족시키고 미래의 확장을 가능하게 합니다.
HBM
HBM은 넓은 대역폭을 가진 메모리 구조로 여러 개의 DRAM 단품을 수직으로 쌓아 올린 구조이다. 마치 아파트처럼 쌓아 올리는 구조이다.
각 DRAM은 TSV라는 기술을 통해 서로 연관되어 높은 데이터 전송 효율을 제공한다.
HBM의 핵심 구성 요소는 다음과 같다.
- DRAM Core Dies (적층 된 메모리 칩): 데이터를 실제로 저장하는 층입니다. HBM 세대에 따라 4단, 8단, 12단, 그리고 곧 16단 이상까지 쌓입니다.
- TSV (Through-Silicon Via, 실리콘 관통 전극): 이게 핵심 기술입니다. 칩을 쌓은 후 서로 통신을 하기 위해 칩 내부에 수천 개의 미세한 구멍을 뚫고 전도성 물질(구리 등)을 채워 넣어, 위아래 층을 전기적으로 연결하는 초고속 엘리베이터 역할을 한다.
기존 와이어 본딩(칩 밖으로 선을 연결)보다 경로가 훨씬 짧아 속도가 빠르고 전력 소모가 적습니다.
-> TSV의 역할은 데이터 전송, 전력 공급, 열전달 역할을 함! - Microbumps (마이크로 범프): 각 층의 TSV와 다음 층의 TSV를 납땜으로 이어주는 초소형 연결 단자입니다.
- Base Die (Logic Die, 베이스 다이): 가장 아래층에 있는 칩입니다. 데이터를 저장하지 않고, 위층 메모리들과 CPU/GPU 사이의 통신을 교통 정리하는 '관리 사무소' 역할을 합니다. (HBM4부터는 이 관리 사무소가 훨씬 똑똑해집니다).
HBM 동작 구조에 대해서 자세히 이해해 보자.
HBM 한 개 스택(Stack) 당 JEDEC 표준으로 정해진 데이터 전송 통로의 개수가 1,024개이다.(hbm 1~3 기준)
- 의미: 한 번의 클록 신호에 1,024개의 데이터 비트를 동시에 보낼 수 있다는 뜻입니다. (DDR5 메모리가 보통 64비트인 것에 비해 16배나 넓습니다.)
- 구조: 보통 이 1,024비트는 8개의 독립된 채널로 나뉘며, 각 채널은 128비트씩 담당합니다 (8*128 = 1024)
TSV(Through-Silicon Via)는 이 1,024비트의 데이터를 포함해, 주소(Address), 명령(Command), 전원(Power) 등을 전달하기 위해 칩에 뚫린 물리적인 구멍들이다.
- 실제로 HBM 한 스택에 들어가는 TSV의 개수는 1,024개보다 훨씬 많습니다.(보통 수천 개)
- 데이터용: 1,024개
- 주소 및 명령용: 수백 개
- 전원 및 접지(Power/Ground): 수천 개 (안정적인 전력 공급을 위해 데이터용보다 훨씬 많을 때가 많습니다.)
- 최상단 DRAM 칩부터 최하단 베이스 다이(Base Die)까지 모든 층을 이 TSV 기둥들이 관통하며 데이터 신호를 수직으로 실어 나릅니다.
이러한 동작 메커니즘으로 인해 이전 전통적 구조와 다르게 "데이터가 지나가는 길의 개수(I/O BUS)"가 다르기 때문에 속도가 빨라지게
되므로 폰노이만 구조의 단점을 해결하게 되었다.
- 전통적 구조(DRAM): PCB 위에 구리 선을 촘촘히 깔아도 물리적인 한계가 있습니다. 선이 너무 가까우면 서로 간섭(Crosstalk)이 생기기 때문입니다. 그래서 보통 64개의 길(64-bit Bus)을 가집니다.
- HBM 구조: 실리콘 인터포저는 반도체 미세 공정 기술로 회로를 그립니다. PCB보다 수천 배 더 촘촘하게 길을 낼 수 있습니다. 그 결과, 길의 개수가 1,024개(1024-bit Bus) 이상으로 늘어납니다.
| 구분 | 비유 | 설명 |
| I/O 버스 (1,024비트) | 고속도로 차선 수 | 논리적으로 한 번에 이동할 수 있는 차량(데이터)의 수 |
| TSV (수천 개) | 고층 빌딩의 엘리베이터 통로 | 각 층(DRAM 층) 사이를 물리적으로 연결하는 실제 수직 통로들 |
| 인터포저 (Interposer) | 빌딩 앞 광장/교차로 | HBM 빌딩에서 나온 1,024개 차선이 GPU 건물로 연결되는 미세 배선판 |
HBM 단점
HBM이 이전의 DRAM 방식에 비해 속도도 빠르고 데이터도 더 많이 저장할 수 있는데 그만큼 성능을 보장하기 위해 열이 많이 발생하게 된다.
반도체는 저항으로 인해 온도가 높아지는데. 그렇게 되면 데이터가 잘못되거나 오작동을 하는 이슈가 생기게 된다. 따라서 반도체는 온도를 제어하는 게 핵심이며, 반도체는 온도가 낮을수록 예측불허한 변수가 적으니 좋다.
-> 반도체에서 핵심 요소 중 하나가 냉각 쿨링이며, 반도체 온도(열)를 제어를 잘하는 것이 핵심이다!
현재 HBM 세대별 냉각 쿨링 방식은 아래처럼 동작하고 있고 이러한 방향성을 가이드하고 있다(카이스트 김정호 교수님)
- HBM1~2: Air cooling
- HBM4 (2026), D2C (Direct-to-Chip) : 칩 표면에 액체가 흐르는 콜드 플레이트를 밀착시켜 식히는 방식 (수랭식)
- HBM5/6 (2029~32) Immersion Cooling : 서버 전체를 특수 절연 액체에 통째로 담가 식히는 액침 냉각 방식
- HBM7/8 (2035~38) Embedded Cooling :칩 패키지 내부에 직접 냉각 채널을 설계하거나 하이브리드 방식으로 식힘
반도체 온도(열)를 제어하는 다른 관점 중 하나는 반도체 자체에서 열을 줄이거나 안내는 방향이 있는데 바로 초전도체이다.
초전도체는 전기저항 0이므로 전류(전자)가 흐를 때 방해하는 요소가 없기 때문에 에너지가 열로 전환되지 않게 되어 가능할 확률이 높아지지만 반도체 공정 와 호환성(Compatibility)이 맞지 않아 쉽지 않다고 한다.(참고로 양자컴퓨터는 0과 1로 구분하지 않는다.)
이러한 문제들을 점차 해결해나가야 한다.
HBM 발전 방향성 및 로드맵
HBM이 버전업이 될수록 더 높은 BandWith(대역폭), Data Rate(속도), Capacity(저장 용량)등이 향상될 거라고 보인다.
전체 로드맵
HBM4 구조
👉 HBM4에서는 Customized HBM Base Die에 일부 GPU 연산을 하는 기능을 제공하는데, SK 하이닉스는 엔비디아와 함께 해당 부분을 설계를 진행할 것으로 보인다.
👉 GPU 기능이 동작하니 열 관리가 중요할 것이다.
👉 HBM3에서는 CPU가 모든 제어를 하고 있는 상황이라 속도가 느려진다.
👉 HBM4에서는 HBM 주변에 LPDDR이 생겨서 메모리가 집약적으로 모일 것이고 CPU는 HBM 데이터를 쌓는 연산은 관여하지 않게 되어 속도가 HBM3에 비해 상승할 것이다.
(*LPDDR : 스마트폰, 태블릿, 노트북 등 배터리 기반 모바일 기기에 최적화된 저전력·고속 DRAM)
HBM5 구조
👉 HBM5에서는 스택의 최상단에 냉각 쿨링등을 둘 수 있는 방향성을 제시하심
👉 HBM5에서는 Nand Flush 역할을 하는 SSD가 CXL을 통해 HBM5에 붙어서 통신할 것이다.(HBM4의 LPDDR의 용량이 적기 때문에 더 많은 저장 용량을 써야 한다!)
👉 TSV는 데이터 전송, 전력 공급, 열 제어 등을 하는 역할을 하고 있으니, 앞으로 TSV가 더 쓰일 것이고 HBM5부터는 그리드 형식으로 진화할 가능성이 있다
+ 추가적인 관련 뉴스
https://m.g-enews.com/article/Global-Biz/2026/02/2026021122334099382bd56fbc3c_1#_PA
AI 반도체 ‘발열 지옥’ 뚫는다…구리보다 3배 빠른 금속 신소재 발견 - 글로벌이코노믹
인공지능(AI) 시대의 최대 난제인 반도체 발열 문제를 해결할 획기적인 금속 신소재가 발견됐다. 미국 로스앤젤레스 캘리포니아대학교(UCLA) 후융제 교수팀은 그전에 열전도율이 가장 높다고 알
www.g-enews.com
참고자료
- https://www.youtube.com/watch?v=KBsUqjdVRaI&t=5263s
- https://kbthink.com/main/economy/economic-in-depth-analysis/economic-knowledge-vitamin/economic-knowledge-vitamin-3-230717.html
'직장에서 탈출하기 > 산업 분석' 카테고리의 다른 글
| 태양광 산업(Ft. 페로브스카이트) (0) | 2026.02.22 |
|---|---|
| 우주 데이터센터 산업(Ft. 일론 머스크) (0) | 2026.02.20 |
| 반도체 산업 1편 (2) | 2026.02.17 |
| 배터리 산업 이해 (0) | 2025.11.14 |
| Physical AI 산업 분석 (0) | 2025.10.28 |