80x24

AI 칩 원가 ⅔가 메모리.
엔비디아 H100/B200 BOM에서 HBM이 64-68%까지 차오른 그래프. 컴퓨트 다이가 아니라 메모리가 비싼 시대. HBM 공급은 SK·삼성·마이크론 셋뿐이고, 마진을 다 가져간다. 모델이 커지면서 메모리 대역폭이 병목, 그래서 다이보다 메모리가 비싸진다는 게 직관과 어긋나는 지점.
↗ news.ycombinator.com