運算架構大解密 (六)：張量處理單元 (TPU) — 雲端巨量資料的脈動陣列巨獸
（本篇為系列文章第六篇。如果您還沒看過前一篇關於邊緣 AI 加速器的文章，建議先閱讀：運算架構大解密 (五)：神經處理單元 (NPU) — 突破記憶體牆的邊緣 AI 加速器）
上一篇文章我們介紹了 NPU，它是邊緣裝置上敏捷靈巧的人工智慧大腦。然而，當我們將目光轉向雲端，面對的是擁有數千億甚至兆級參數的大型語言模型（LLMs）時，邊緣設備的算力便顯得微不足道。為了解決超大規模 AI 資料集的運算需求，Google 獨家研發並推動了一種重裝運算巨獸：張量處理單元（Tensor Processing Unit, TPU）。
一、設計哲學的極端：捨棄靈活性，榨出極致吞吐量
TPU 的設計哲學走向了與 NPU 截然不同的極端。NPU 必須在極度受限的功耗預算（毫瓦至十幾瓦）內提供實時推論，但 TPU 完全放棄了邊緣端所需的低功耗靈活性與硬體體積限制 。它將所有的矽晶片電晶體資源，毫無保留地投入到一個單一目標上：「最大化巨量矩陣運算的整體吞吐量（Throughput）」。
二、TPU 的核心黑科技：脈動陣列 (Systolic Array)
在傳統的馮紐曼架構中，CPU 或 GPU 執行每一次的數學運算，都必須從暫存器或快取中獨立讀取輸入資料並寫回運算結果 。對於 AI 運算來說，這種頻繁的資料移動不僅極度耗能，更會迅速飽和記憶體頻寬 。TPU 為了稱霸雲端 AI 領域，採用了一種非傳統的計算架構：脈動陣列（Systolic Array）。
- 密集的運算網格： 在 TPU 的脈動陣列設計中，成千上萬個乘加單元（MAC）被排列成一個高度密集且緊密耦合的網格狀結構 。以第一代 TPU 為例，其核心的矩陣乘法單元（MXU）佈建了一個 256 乘 256 的龐大陣列，總計包含高達 65,536 個獨立的 MAC 單元 。
- 如心臟跳動般的資料流： 脈動陣列的工作原理猶如人類心臟泵送血液（Systolic）的節律運作。
三、權重固定 (Weight Stationary)：徹底擊碎記憶體牆
當執行神經網路中最核心的龐大矩陣乘法（例如 $C = A \times B$）時，TPU 採用了極致的「權重固定」資料流策略。
系統會先將龐大神經網路模型的「權重矩陣（Weights）」載入並固定駐留在這 6 萬多個處理單元的本地暫存器中 。接著，輸入資料的「激勵值（Activations）」如波浪一般，跟隨著時鐘週期的節拍，從陣列的一側被有節奏地推入。這些資料流經各個相鄰的運算單元，在傳遞的過程中不斷與固定的權重進行相乘與局部累加，最終將結果從陣列的另一側輸出。
這種空間資料流設計的偉大之處在於，中間運算結果直接在硬體單元之間傳遞，系統僅需要對外部記憶體進行一次讀取權重的操作 。此舉徹底打破了記憶體牆的限制，讓 TPU 的能效比（Performance-per-watt）達到了同時代 CPU 的 83 倍，以及同時代 GPU 的 29 倍。
四、隱藏延遲的魔法：雙重緩衝 (Double Buffering)
雖然 TPU 計算極快，但在連續處理不同神經網路層時，重新載入下一層龐大權重資料可能會引發系統閒置（Stall）。為了解決這個問題，TPU 架構設計了專屬的權重先進先出（FIFO）快取與複雜的雙重緩衝（Double Buffering）機制 。
這項機制允許 TPU 的核心運算單元在全速處理當前神經網路層矩陣乘法的同時，背景的記憶體控制器可以平行運作，預先從外部高頻寬記憶體（HBM）將下一層的權重資料搬移至統一緩衝區（Unified Buffer）中。這種技術猶如計算機圖形學中的「頁面翻轉（Page Flipping）」，完美地隱藏了記憶體傳輸的物理延遲，確保了脈動陣列維持極高的硬體利用率。
五、TPU 的實務應用與局限性
強大的算力伴隨著嚴格的使用條件，TPU 被嚴格限制在雲端與大型資料中心的範疇內：
- 主力戰場： 訓練（Training）擁有數千億甚至兆級參數的大型語言模型（LLMs）、執行自然語言處理（NLP）的雲端批次分析，以及運作跨國電子商務平台複雜推薦系統。
- 架構犧牲： 為了追求極致的批次處理（Batch processing）吞吐量，TPU 犧牲了對單一資料的低延遲處理能力 。
- 物理限制： 高昂的硬體部署成本、緊密綁定 Google TensorFlow 生態系的封閉性，以及單晶片動輒高達數百瓦的巨大散熱需求，使得 TPU 絕對無法被整合進任何依賴電池供電的終端邊緣設備中。
結語
從極限省電的 MCU 到功耗數百瓦的 TPU，我們見證了為了不同運算目的而誕生的極致硬體。然而，現代旗艦級的電子設備往往需要同時具備這些處理器的優點。我們該如何將 CPU、GPU、DSP 甚至 NPU 全部塞進同一個微小的晶片裡？在下一篇文章中，我們將進入系列的高潮，探討異質整合的終極版圖：系統單晶片（SoC）與未來的先進封裝挑戰。
