顯示具有 液冷 標籤的文章。 顯示所有文章
顯示具有 液冷 標籤的文章。 顯示所有文章

2026年11月5日 星期四

CoWoS熱翹曲原理:輝達B200為何非液冷不可?關鍵是溫差,不是溫度

CoWoS熱翹曲原理:輝達B200為何非液冷不可?關鍵是溫差,不是溫度

重點先講:大家都說 B200 要液冷是因為「太燙」。這只說對一半。真正讓工程師睡不著的,是台積電 CoWoS 封裝裡好幾種材料熱膨脹不一樣:每次 GPU 從待機衝到滿載再降回來,封裝就被「拉一次、放一次」。液冷把溫度壓低、把溫差壓小,等於幫焊點和微凸塊延壽。

發生了什麼

  • 功耗:HGX B200 每顆 GPU 可設定到 1kW(NVIDIA 文件);GB200 NVL72 裡的 B200 最高約 1,200W、GB300 NVL72 的 B300 約 1,400W,而且 NVL72 沒有氣冷版(Barrack AI 整理)。
  • 2024 年 Blackwell 延遲時,SemiAnalysis 指出 CoWoS-L 裡 GPU 晶粒、矽橋、有機中介層與基板之間的熱膨脹係數(CTE)失配會造成翹曲,輝達因此改了上層金屬與凸塊設計(SemiAnalysis、3D InCites)。
  • 2026 年 10 月 OCP APAC,台積電先進封裝負責人何軍提到:材料越擠越近,「不匹配的梯度」累積應力;超過 5.5 倍光罩後,散熱和翹曲難度非線性上升,還舉了元件測試沒事、裝進客戶系統卻出現崩角與 low-k 脫層的案例(Simple Tech Trend 整理)。
工程重點 1:熱流密度,氣冷已經追不上

B200 是兩顆接近光罩極限的大晶粒。我假設兩顆合計約 1,600mm²,1,200W 平均下來約 0.75 W/mm²,也就是 75 W/cm²(作者估算,熱點還會更高)。這個熱流要穿過晶粒、導熱介面材料(TIM)、蓋板再到散熱器,每一層都有熱阻。氣冷的空氣比熱和導熱太差,只能靠更大的鰭片和更快的風扇硬撐;冷板液冷讓水直接貼著蓋板帶走熱,同樣功耗下晶片溫度可以低很多。

工程重點 2:真正的殺手是 CTE 失配

矽約 2.6 ppm/K,有機基板約 15 ppm/K,差約 12 ppm/K。5.5 倍光罩約 4,720mm²,等於邊長約 69mm 的正方形,角落離中心約 49mm。作者粗算:升溫 55K 時,矽和基板在角落的「自由伸縮差」約 32µm;壓到 35K 只剩約 20µm(未計底部填充膠等拘束,只說明量級)。對間距只有幾十微米的微凸塊來說,這是每天上百次的拉扯。焊點熱疲勞常用 Coffin-Manson 關係,以指數約 2 粗估,溫差從 55K 降到 35K,壽命約多 2.5 倍(作者估算)。

工程重點 3:溫度梯度,比平均溫度更危險

同一個封裝裡,GPU 核心最燙,旁邊的 HBM 堆疊相對冷,基板更冷。溫度不均勻,封裝就不是均勻膨脹,而是扭成「馬鞍形」或「笑臉、哭臉」形。這就是何軍說的「梯度」問題:平均溫度看起來還好,局部應力卻可能讓 low-k 介電層脫層、晶粒邊角崩裂。液冷的優勢在於熱容量大、流量可調,能把熱點和周邊的溫差拉近,而不只是把最高溫壓下來。

工程重點 4:下一步是把水道做進矽裡

台積電在 ECTC 2025 發表矽整合微冷卻器(IMC-Si),在 3.3 倍光罩的 CoWoS-R 上,用 40°C 進水、每分鐘 10 公升,可散掉最高 3.4kW(約 2.5 W/mm²);密封膠設計成可容忍封裝翹曲,並通過 2,000 次溫度循環測試(IEEE ECTC 2025)。這是展示技術,不代表 Blackwell 量產已採用。但方向很清楚:封裝越大,散熱就越要「長」在封裝裡。粉專 10/25 也用一句話講過這件事:FB 原文:B200 為什麼一定要用液冷。

還缺什麼/待核

  • 輝達和台積電沒有公開 B200 的實際翹曲量、凸塊間距或可靠度規格,本文溫差與壽命數字都是作者用公開材料參數做的量級估算。
  • 2024 年的 CTE 失配說法來自分析機構與媒體,輝達官方只承認改過光罩提升良率。
  • OCP 演講內容引用自第三方整理,非台積電官方逐字稿。

延伸影片

你以為 TSMC 的 CoWoS 只有一種嗎?其實是三種!你以為 TSMC 的 CoWoS 只有一種嗎?其實是三種!

揭秘 1mm 固態散熱黑科技:xMEMS 原理深度解析手機發燙救星?揭秘 1mm「固態散熱」黑科技

你覺得下一代 AI 晶片會走冷板、浸沒式,還是直接把水道做進矽裡?留言告訴我。

資料來源:NVIDIA HGX 文件、SemiAnalysis、3D InCites、IEEE ECTC 2025、OCP APAC 2026 整理、Barrack AI。標示「作者估算」者為本文自行計算,非官方數字。
本文由 vkinngworld/@vkinng 整理。這題在粉專討論很熱,歡迎來留言:FB 粉專「PLC」

2026年10月18日 星期日

CPO 共同封裝光學架構解析|102.4T 交換器登上 OCP 2026:銅線到 200G 只剩 1 公尺


重點先講:我們在 3 月的影片說過「銅線撐不住了」。這週在美國聖荷西的 OCP 全球峰會(10/12–15),這句話變成了可以放進機櫃的產品:多家廠商同時展示 Broadcom 第三代 共同封裝光學(CPO)交換器,102.4 Tb/s、64 個 1.6T 埠。下面拆四件事:銅線到底在哪裡撞牆、省電怎麼算、可靠度怎麼解、量產還差什麼。廠商數字來自新聞稿與產品簡介,換算部分是我的算術示意,非實測。

發生了什麼

  • 10/8 Broadcom:宣布在 OCP 展出第三代 TH6-Davisson CPO,並列出 Celestica、台達電、Micas 三家會在現場展示 102.4T CPO 系統。
  • 10/12 Celestica DS6005:64 × 1.6TbE、102.4 Tb/s,1.5OU 高、放進 OCP ORv3 機櫃,全液冷,雷射做成可現場更換的外部模組,跑開源 SONiC。
  • 10/12 Micas:預覽 1RU 的 CPO 平台,64 × 1.6T DR8、200G SerDes,排定 2027 年第一季量產。
  • 10/14 EE Times(Ayar Labs CPO 峰會):Meta、Broadcom、AMD、聯發科、Lumentum、緯穎同台,共識是 CPO 會先進交換器,大規模需求約從 2028 年開始。

CPO 是什麼?傳統做法是交換晶片把高速電訊號送過電路板,跑到前面板,再由插在那裡的光模組(裡面有 DSP 重整訊號)轉成光。CPO 把負責光電轉換的光引擎直接封裝在交換晶片旁邊,電訊號只走幾公分甚至幾毫米就變成光。Davisson 一顆晶片周圍放了 16 個 6.4T 光引擎,光引擎採用台積電 COUPE 技術。

工程重點 1:銅線撞牆的是「頻率 × 距離」

銅線的損耗會隨訊號頻率和長度一起上升,速度越快,能跑的距離越短。聯發科首席架構師在峰會上給的經驗值是:每通道 100G 約 3 公尺、200G 約 1 公尺、400G 不到 0.25 公尺。Davisson 的 SerDes 每通道是 212.5 Gb/s PAM4,剛好卡在「銅線只剩一公尺」這一代。想靠銅線硬撐,就得花更多功率在等化和重整訊號上。換成光之後,損耗幾乎跟距離脫鉤,原本只能塞在一個機櫃裡的 scale-up 網路,才有機會跨好幾個機櫃。

工程重點 2:省電帳怎麼算?

一顆 1.6T DR8 全 DSP 可插拔光模組,公開規格大約 22–30 W。64 埠全插滿就是 64 × 22–30 ≈ 1.4–1.9 kW,還沒算交換晶片本身。Broadcom 宣稱 CPO 讓光互連功耗降低 70%。如果把 70% 套在這個模組功耗上,一台交換器約可省 1.0–1.3 kW。換成每位元能量更直觀:30 W ÷ 1.6 Tb/s ≈ 19 pJ/bit,22 W 約 14 pJ/bit,降 70% 後約 4–6 pJ/bit。注意對手不只 DSP 模組:拿掉 DSP 的 LPO 線性光模組已經有 1.6T 標稱 10 W 以下(約 6 pJ/bit)。所以 CPO 對 LPO 的優勢沒有對 DSP 模組那麼大,這是接下來幾年真正的戰場。註:Broadcom 沒公布 70% 的比較基準細節,以上是我的假設換算。

工程重點 3:雷射拿出來、整台泡液冷

CPO 最大的風險是「光引擎焊死在封裝上」。可插拔模組壞了拔掉換一顆就好,CPO 的光引擎壞了,可能整顆封裝都要報廢。聯發科在峰會上點出:AI 加速器上有價值數萬美元的 HBM,光引擎貼上去後才失效,好好的晶片就跟著陪葬。所以業界先拿交換器開刀:交換器沒有 HBM,功耗也比 GPU 穩定,GPU 的溫度可以瞬間擺盪數十度,而光元件對溫度非常敏感。解法有兩個:一是把最怕熱、最容易壞的雷射移出封裝,做成前面板可插拔的外部光源(ELSFP);二是像 DS6005 這樣整機液冷,讓光引擎的溫度穩定下來。

工程重點 4:量產卡在供應鏈和標準

技術展示有了,量產還沒到。Lumentum 技術長直言:「這個產業還沒準備好應付 CPO 要的量。」雷射、基板、連接器、光纖都要從小眾產線放大到 CMOS 等級。另一個關鍵是標準:Meta 推動的 OCI MSA 第一代用 4 個波長 × 50G,路線圖從 200G 一路排到 3.2T,目標是讓不同廠牌的 GPU 和交換器能互通。對台灣供應鏈來說,這裡面有台積電的光引擎封裝、台達與緯穎的系統整合,都是同一條線上的角色。我的推論是:2026–2027 是交換器端的驗證期,GPU 端的 CPO 要等可靠度和良率數據出來才會跟上。

還缺什麼/待核

  • Broadcom 只給了「降低 70%、超過 3.5 倍」的相對數字,沒有公布絕對的 pJ/bit 和比較基準。
  • Celestica DS6005 的整機功耗、售價與出貨時程未公開;Micas 的 CPO 平台是預覽,量產排在 2027 Q1。
  • CPO 在大規模部署下的現場故障率、光引擎維修流程,目前還沒有公開數據。
  • 本文 22–30 W 模組功耗與省電換算是示意,實際依模組廠牌、距離與交換器設計而不同。

相關影片

今天想問你:如果你是資料中心的工程師,你會先上 CPO,還是繼續用可插拔、改用更省電的 LPO?「壞了只能整片換」這個風險,你願意用每台省 1 kW 去換嗎?留言告訴我。