CoWoS란? — AI 시대 반도체 패키징의 핵심

목차

• 1. CoWoS 뜻 — Chip on Wafer on Substrate
• 2. CoWoS의 역사 — 2012년부터 AI 시대까지
• 3. 왜 필요한가 — 메모리 벽(Memory Wall) 문제
• 4. CoWoS의 구조 — 3층 샌드위치
• 5. 인터포저는 어떻게 만드는가
• 6. 기존 패키징과 비교
• 7. CoWoS를 쓰는 제품들
• 8. CoWoS가 비싼 이유 — 비용 구조 분석
• 9. CoWoS 변형 미리보기 — S, R, L
• 10. 자주 묻는 질문 (FAQ)
• 11. 시리즈 안내

1. CoWoS 뜻 — Chip on Wafer on Substrate

CoWoS는 Chip on Wafer on Substrate의 약자입니다. TSMC(Taiwan Semiconductor Manufacturing Company)가 2012년에 상용화한 2.5D 웨이퍼 레벨 멀티칩 패키징 기술입니다.

이름이 곧 구조를 설명합니다:

• Chip on Wafer — 개별 칩(다이)을 웨이퍼 위에 올린다 (여기서 '웨이퍼'는 실리콘 인터포저)
• on Substrate — 이 조합체를 다시 유기 기판(substrate) 위에 실장한다

쉽게 말하면, 여러 칩을 하나의 실리콘 판 위에 나란히 올려놓고, 초고밀도 배선으로 연결하는 기술입니다.

2. CoWoS의 역사 — 2012년부터 AI 시대까지

CoWoS는 하루아침에 탄생한 기술이 아닙니다. TSMC가 10년 넘게 발전시켜 온 기술이 AI 시대를 만나 폭발적으로 성장했습니다.

주요 이정표

• 2012년 — TSMC, CoWoS 상용화. 최초 고객은 Xilinx(현 AMD)의 FPGA. 당시에는 고성능 네트워킹용 틈새 기술로 출발
• 2016년 — HBM을 CoWoS 위에 통합하는 구조 시작. 인터포저 면적 1.5x reticle로 확대
• 2020년 — NVIDIA A100에 CoWoS-S 적용. AI 학습 수요와 맞물려 수요 급증 시작
• 2023년 — ChatGPT 이후 AI 투자 폭발. H100 품귀 현상. CoWoS 캐파가 AI 칩 공급의 병목으로 부각
• 2025년 — CoWoS-L 양산 개시 (NVIDIA B200/GB200). HBM3E 12-Hi 스택 지원
• 2026년(현재) — TSMC CoWoS 캐파 월 ~130K wafer로 확대 (업계 추정). 여전히 수요 > 공급

3. 왜 필요한가 — 메모리 벽(Memory Wall) 문제

AI 시대의 근본 병목

AI 가속기(GPU, TPU)의 연산 성능은 세대마다 기하급수적으로 증가합니다. 하지만 프로세서가 아무리 빨라도, 메모리에서 데이터를 가져오는 속도가 따라가지 못하면 연산 유닛은 데이터를 기다리며 놀게 됩니다.

이것이 메모리 벽(Memory Wall) 문제입니다. LLM(대규모 언어 모델) 학습과 추론에는 수십~수백 GB의 파라미터를 초당 수 TB 속도로 주고받아야 합니다.

해결책: HBM을 프로세서 바로 옆에

HBM(High Bandwidth Memory)은 DRAM 칩을 수직으로 쌓아 대역폭을 극대화한 메모리입니다. 하지만 HBM의 성능을 100% 활용하려면:

• 프로세서와 수 mm 이내 거리에 배치해야 합니다 (배선이 길면 신호 지연·전력 손실)
• 수천 개의 I/O 핀을 동시에 연결해야 합니다 (HBM3E: 1024-bit 인터페이스)
• 이 모든 것을 하나의 패키지 안에서 해결해야 합니다

기존 패키징(Wire Bond, Flip Chip)으로는 이 요구사항을 충족할 수 없습니다. CoWoS가 바로 이 문제를 해결하기 위해 만들어진 기술입니다.

4. CoWoS의 구조 — 3층 샌드위치

CoWoS는 아래에서 위로 3개 층으로 구성됩니다:

인터포저가 핵심인 이유

인터포저는 '실리콘 고속도로'에 비유할 수 있습니다. 일반 기판의 배선 폭이 수십 um인 데 비해, 실리콘 인터포저의 배선 폭은 1um 이하입니다. 같은 면적에 수십 배 더 많은 배선을 넣을 수 있고, 이는 곧 대역폭의 차이로 직결됩니다.

5. 인터포저는 어떻게 만드는가

CoWoS의 핵심인 실리콘 인터포저는 사실상 '배선만 있는 칩'입니다. 일반 반도체 공정과 유사한 방식으로 웨이퍼 위에 만들어집니다.

제조 4단계

6. 기존 패키징과 비교

핵심 차이: Wire Bond/Flip Chip은 '단일 칩'을 실장하는 기술입니다. CoWoS는 '여러 칩을 하나의 패키지 안에서 초고속으로 연결'하는 기술입니다. 이 근본적인 차이가 AI 시대에 CoWoS를 필수로 만들었습니다.

7. CoWoS를 쓰는 제품들

2026년 기준, AI 학습·추론에 사용되는 거의 모든 고성능 가속기가 CoWoS 기반입니다. TSMC의 CoWoS 생산능력이 곧 AI 칩의 공급 상한선을 결정하는 구조입니다.

NVL72 — CoWoS 72개가 한 랙에

CoWoS의 중요성을 가장 잘 보여주는 제품이 NVIDIA GB200 NVL72입니다. GTC 2025에서 발표되어 2025~2026년 본격 출하 중인 이 시스템은, 서버 랙 하나에 B200 GPU 72개 + Grace CPU 36개를 넣은 초대형 AI 컴퓨터입니다.

NVL72 한 대의 CoWoS 소요량:

• B200 GPU 72개 × CoWoS-L 패키지 1개씩 = CoWoS-L 72개
• B200 1개당 HBM3E 8스택 → 랙 전체 576개 HBM 스택, 총 13.8TB
• CoWoS-L 웨이퍼 약 14~18장이 랙 1대에 소모 (업계 추정)
• 하이퍼스케일러가 B200 10만 개를 주문하면 → CoWoS 웨이퍼 약 2만~2.5만 장 필요

이것이 왜 TSMC의 CoWoS 캐파가 "AI 칩의 공급 상한선"인지 보여주는 수치입니다. 아무리 GPU 설계가 좋아도, CoWoS로 패키징하지 못하면 출하할 수 없습니다.

왜 72개가 한 랙에 있어야 할까?

GPT 같은 초대형 AI 모델은 GPU 1개에 들어가지 않습니다. 수십 개 GPU에 나눠 담아야 하는데, 이때 GPU끼리 데이터를 주고받는 속도가 곧 전체 성능을 결정합니다.

NVLink는 일반 네트워크보다 약 36배 빠릅니다. 72개 GPU를 같은 랙에 넣고 NVLink로 직결하면, 72개가 마치 1개의 거대한 GPU처럼 동작합니다. 이것이 NVL72의 핵심이고, 그 각각의 GPU 안에 CoWoS가 들어있습니다.

GTC 2026에서 확인된 것

2026년 3월 GTC에서 NVIDIA는 차세대 로드맵을 공개했습니다:

• Vera Rubin — Blackwell 다음 세대. Rubin GPU + Vera CPU 조합. HBM4 채택 예상. CoWoS 다음 세대 패키징 적용 전망
• Blackwell Ultra — Blackwell과 Rubin 사이 중간 업그레이드
• 3세대 로드맵 — Blackwell → Blackwell Ultra → Vera Rubin으로 이어지는 연간 업그레이드 사이클

세대가 올라갈수록 HBM 스택 수와 인터포저 면적이 계속 커집니다. 이는 곧 CoWoS 수요가 세대마다 증가한다는 것을 의미합니다. "CoWoS 병목"은 당분간 해소되기 어렵습니다.

NVL72를 가능하게 한 핵심 — NVLink Switch

GPU 72개를 한 랙에 넣는 것만으로는 부족합니다. 72개가 하나의 GPU처럼 동작하려면 모든 GPU가 서로 초고속으로 통신해야 합니다. GPU 72개를 전부 1:1로 직접 연결하면 2,556개의 배선이 필요한데, 이건 물리적으로 불가능합니다.

NVIDIA의 해결책은 NVLink Switch라는 전용 칩을 별도로 설계한 것입니다. 고속도로 인터체인지처럼, 72개 GPU 간의 데이터 교통을 정리하는 역할입니다.

8. CoWoS가 비싼 이유 — 비용 구조 분석

CoWoS 패키징 비용은 일반 Flip Chip 대비 5~10배로 추정됩니다. 왜 이렇게 비쌀까요?

비용을 높이는 4가지 요인

9. CoWoS 변형 미리보기 — S, R, L

CoWoS는 하나의 기술이 아니라, 용도에 따라 3가지 변형이 있습니다:

각 변형의 구조, 장단점, 선택 기준은 시리즈 2편 「CoWoS-S vs CoWoS-R vs CoWoS-L — 뭐가 다른가」에서 자세히 다룹니다.