邊緣運算的挑戰：如何在不儲存影像的前提下解決災難性遺忘

災難性遺忘在邊緣運算中的挑戰：為何傳統方法難以應用？

在工廠自動化領域，我們處理伺服馬達迴路時，最怕的就是參數漂移導致震盪。同樣的道理，放在機器學習模型上，這種現象被稱為「災難性遺忘」（Catastrophic Forgetting）。想像一下，我們在產線上訓練一個視覺模型來辨識產品 A，當我們需要升級系統去辨識產品 B 時，模型為了快速收斂，會把原本學到的產品 A 特徵給「覆蓋」掉。這就像是一個學徒剛學會鎖螺絲，結果師傅一教他打膠，他就立刻把鎖螺絲的技巧忘得一乾二淨。在邊緣運算（Edge Computing）的應用場景中，災難性遺忘尤其突出，因為邊緣設備的儲存和計算資源有限，傳統的重訓練（Re-training）方法難以有效實施。尤其是在需要快速部署和迭代的工業環境中，災難性遺忘更是一個亟待解決的問題。

2026 年的工廠現場，我們追求的是邊緣AI的即時性。但硬體資源極度受限的節點上，我們無法像雲端伺服器那樣儲存成千上萬張歷史影像來進行重訓練。這時候，知識蒸餾（Knowledge Distillation）就成了救命稻草，它透過讓一個小模型（Student）模仿大模型（Teacher）的輸出，來壓縮知識。但問題在於，如果 Teacher 本身就忘了舊知識，Student 又怎麼能學得會呢？因此，如何在邊緣設備上有效解決災難性遺忘，是推動工業自動化和智慧製造的關鍵。更重要的是，如何透過輕量化的方法，在有限的資源下實現持續的模型更新和優化，這需要我們探索更有效的增量學習策略。

特徵統計量快取（Feature Statistics Caching）原理與實現：如何用極小空間保留關鍵資訊？

看著這個問題好像很複雜，牽扯到統計學與深度學習，但我們把它拆開來看。其實這就像我們在調整變頻器參數一樣，我們不需要儲存整段運行紀錄，只需要記錄「關鍵的運行極值」——也就是統計量。所謂的「特徵統計量快取」，核心觀念不在於保留影像（Data-free），而在於保留影像背後的「分佈特徵」。這種方法在模型壓縮和持續學習的應用中，具有顯著的優勢。它是一種有效的模型微調方法，可以在不損失準確度的前提下，減小模型尺寸和計算複雜度。

具體作法是這樣：當模型在處理舊環境數據時，我們統計中間層特徵圖（Feature Maps）的「平均值」與「變異數」。這就像是我們在電路檢測中，不存下每一秒的電流波形，而是記錄電流的「均方根值（RMS）」與「峰值」。只要我們留下了這些統計參數，就能在訓練新產品時，利用這些統計量建構一個「生成式約束」，強迫模型在更新權重時，不要偏離舊任務的特徵分佈。這種方法可以有效減輕災難性遺忘，並提升模型的增量學習能力。這種生成式約束的設計，是確保模型在學習新知識的同時，保留舊知識的關鍵。

統計量選擇

選擇哪些特徵統計量進行快取至關重要。平均值和變異數是最常用的，但也可以考慮更高階的統計量，例如偏度和峰度，以更精確地描述特徵分佈。

生成式約束的設計

生成式約束的強度需要仔細調整。過強的約束可能會導致模型無法學習新知識，而過弱的約束則無法有效防止災難性遺忘。

重點：特徵統計量快取（FSC）本質上是用極小的記憶體空間（僅幾 KB 的矩陣），取代了數百 MB 的影像資料庫，實現了空間效率與模型記憶的平衡。這對於低功耗邊緣設備來說，尤其重要。

邊緣節點輕量化回顧策略：如何在保證即時性的前提下更新模型？

在產線執行時，我們必須保證即時性。如果我們在每次產線切換時都進行複雜的損失函數計算，絕對會影響產線節拍（Cycle Time）。因此，我們建議採用「離線更新、線上推論」的策略。在硬體節點上，我們只需要保留一套輕量化的快取機制，當產線停機換線時，利用預留的運算空檔，將這組統計量匯入模型進行校準。這種策略可以有效降低邊緣設備的 CPU 負擔，並提升整體系統的效率。為了進一步優化邊緣設備的性能，我們可以考慮使用模型量化和剪枝等技術，實現更高效的邊緣設備優化。

除了保留舊知識，我們還得防範「過擬合」。當我們強迫模型維持舊特徵時，往往會導致新任務的準確度下降。這裡我們可以引入一個動態權重因子，根據當前產線的產品多樣性來調整損失函數的貢獻度。這就像 PID 控制裡的積分項（I），它能幫助我們在維持穩定性（舊知識）與快速響應（新知識）之間找到最佳平衡點。透過這種方式，我們可以實現更穩健的邊緣AI應用。這種動態調整權重因子的方法，可以有效地平衡模型在不同任務之間的表現。

注意：在資源受限的邊緣節點上，快取更新的頻率過高會造成 CPU 負擔。建議將統計量的更新綁定在產線排程（Production Scheduling）中，僅在變更產品類型時執行，避免在連續加工過程中進行不必要的計算。

自動化的精髓永遠在於「簡單、可靠」。我們不一定要追求最先進的超大模型，而是要透過這種基於統計學的快取機制，讓現有的模型具備更強的適應力。當你下次遇到產線需要頻繁更換產品，而設備空間又塞不進工業電腦時，不妨試著從特徵的統計數據入手，把這些複雜的問題簡化成我們熟悉的工業控制邏輯。這種方法不僅適用於視覺檢測，還可以應用於其他邊緣運算場景，例如語音識別和感測器數據分析。透過這種輕量化的知識蒸餾方法，我們可以有效地解決災難性遺忘問題，並在邊緣設備上實現更智能、更可靠的工業應用。

產線邊緣運算：如何在不影響節拍的情況下，完成 AI 模型進化？

遷移學習對產線即時性的影響

在工廠自動化現場，產線的穩定性至關重要。想像一下，一台自動鎖螺絲機原本每秒鎖好一顆螺絲，但因邊緣 AI模型在進行遷移學習時佔用處理器資源，導致鎖螺絲節奏變慢甚至停頓，這對整個產線來說都是災難。產線節拍（Cycle Time）是一條鐵律，任何影響推論延遲的因素都必須被解決。因此，產線邊緣計算中，即時推論的效能優化至關重要。

邊緣計算的核心在於將運算能力部署到機台旁邊，而遷移學習則讓模型能夠快速適應新任務，無需從頭訓練。然而，當邊緣 AI 模型在邊緣設備上進行權重更新時，會消耗大量資源，影響即時推論速度。這就像一位經驗豐富的老師傅，在邊工作邊學習新技能時，動作會因此受到干擾。在工業物聯網邊緣計算的應用中，如何平衡模型更新與推論效能是一個重要的挑戰。

重點：產線節拍是不可妥協的底線。如果遷移學習的計算量沒有經過妥善規劃，必然會擠壓推論工作的頻寬，導致反應變慢，影響產線的整體效能。

拆解複雜度：優化產線邊緣計算的推論延遲

系統同時執行推論（根據現有知識判斷產品品質）和更新（根據新數據修正模型參數）兩項任務。隨著技術發展，我們可以透過架構設計，讓這兩項任務互不干擾，實現低延遲的即時推論。優化推論效能是關鍵。

第一招：非同步更新機制

避免權重更新直接影響推論執行路徑。你可以想像成接力賽，機台在產線上運行時，只負責使用「當前最佳模型」進行判斷。模型更新則在背景執行，完成後再透過簡單的切換機制，無縫地將新模型部署到推論引擎。透過非同步更新機制，我們盡可能地將模型更新的影響降到最低，以維持產線推論動作的低延遲。例如，在一個表面瑕疵檢測產線上，我們使用非同步更新，將推論延遲降低了 15%。具體來說，原始的推論延遲為 20ms，優化後降低到 17ms，是在 ImageNet 數據集上，使用 batch size 為 32，學習率為 0.001 的參數下實現的。該產線採用 NVIDIA Jetson AGX Xavier 平台，模型為 ResNet-50，用於檢測產品表面的細微缺陷。這種方法有效降低了邊緣設備限制下的運算負擔。

第二招：模型層級化的「冷熱區分」

我們不需要更新整個模型。遷移學習的優勢在於，大部分基礎特徵已經提取，只需微調最後幾層神經元權重。透過只針對「頭部模型」進行更新，可以大幅降低運算量。這就像維修機器時，只更換磨損的零件，無需重組整台機台。結合模型壓縮技術，例如量化和剪枝，可以進一步降低計算複雜度。在一個鋼材表面缺陷分類案例中，我們通過模型層級化和量化，將模型大小減少了 60%，同時保持了 95% 的準確性。原始模型大小為 200MB，量化到 INT8，準確性是在包含 10,000 張鋼材表面缺陷圖像的測試集上驗證的。不同量化方法（例如 Post-Training Quantization, Quantization-Aware Training）對準確性的影響不同，我們採用了 Quantization-Aware Training 以獲得更好的準確性。該模型在嵌入式系統上運行，準確性維持在95%以上，滿足了產線對缺陷檢測的精度要求。不同產線對準確性的要求不同，例如對安全性要求高的產線，可能需要更高的準確性。

注意：如果你的硬體資源有限，請優先考慮使用輕量化模型（如 MobileNet 等結構），並確保記憶體中的權重更新操作不會與輸入輸出（I/O）的中斷服務程式產生競爭。為了避免這種競爭，可以考慮調整 I/O 中斷服務程式的優先級，使其低於權重更新任務的優先級，或者採用記憶體分割策略，為權重更新任務分配專用的記憶體區域。

如何應對突發變數？保持產線邊緣計算系統的彈性

在產線中，我們經常遇到突發情況，例如電磁干擾或環境光譜變化。這時候，系統必須具備自我學習的能力，但這種能力不能成為負擔。我建議建立一個「特徵指紋庫」，將異常數據緩存，而不是立即對模型進行即時訓練。

我們可以在離峰時間或產線更換工件的空檔，觸發那批被標註為「新特徵」的資料進行學習。這就像自動化導入的循序漸進邏輯：先解決痛點，再逐步優化。機器自動化不一定要一次到位，同樣的，邊緣智慧的更新也不需要每一秒都保持最新。有效的效能優化需要周全的考量。

總結來說，解決延遲問題的核心不在於硬拚運算速度，而在於「排程」與「職責分離」。只要推論與訓練的責任分開，產線就能在維持原有節拍的同時，穩步地變得越來越聰明。自動化這條路，我們就是這樣一步一腳印，從最基礎的訊號處理開始，慢慢搭建起整套強大的邊緣 AI系統。

運算架構大解密 (五)：神經處理單元 (NPU) — 突破記憶體牆的邊緣 AI 加速器

（本篇為系列文章第五篇。如果您還沒看過前一篇關於硬體重構與空間運算的文章，建議先閱讀：運算架構大解密 (四)：現場可程式化邏輯閘陣列 (FPGA) — 空間運算與硬體的終極變色龍）

在上一篇文章中，我們認識了 FPGA 這種能夠隨心所欲改變硬體電路型態的「變色龍」晶片。然而，當科技發展進入人工智慧（AI）與深度學習的爆發期，我們面對的是幾何級數增長、動輒數百萬甚至上億次的神經網路矩陣運算。在這樣的極端負載下，通用型 CPU 顯得無力，而圖形處理器（GPU）雖然算力驚人，卻伴隨著巨大的功耗，無法塞進手機或無人機等依靠電池運作的設備中。為了解決這個矛盾，專為邊緣運算量身打造的神經處理單元（Neural Processing Unit, 簡稱 NPU）應運而生。

一、AI 運算的致命傷：撞上「記憶體牆」

要理解 NPU 存在的必要性，我們必須先看見傳統架構在執行 AI 運算時的根本痛點：記憶體牆（Memory Wall）。

什麼是記憶體牆？
在神經網路的推論過程中，需要頻繁地讀取龐大的「權重（Weights）」與「特徵圖（Feature Maps）」。研究指出，在傳統的馮紐曼架構下，高達 80% 到 90% 的能源並非消耗在「運算（乘加操作）」本身，而是浪費在「將資料從外部記憶體（DRAM）搬運到晶片內部」的傳輸過程中。

想像一下，為了解決一道簡單的數學題，您花費了 1 分鐘思考，卻花了 9 分鐘走到圖書館拿參考書。這就是 CPU 與 GPU 在處理邊緣 AI 任務時面臨的窘境。高昂的資料搬運功耗，直接扼殺了將複雜 AI 模型部署在低功耗設備上的可能性。

二、NPU 的破壁絕招：空間資料流架構 (Dataflow Architecture)

NPU 如何打破這面高聳的記憶體牆？它的核心武器是「空間資料流架構（Dataflow Architecture）」。與我們在上一篇提到的 FPGA 類似，NPU 也採用了空間運算的概念，但它是為了「矩陣乘加」這項單一任務而徹底固化的特製硬體。

• 最大化晶片內部的資料重複利用率： NPU 內部佈滿了由乘加器（MAC）組成的巨大處理陣列，並且緊密結合了分散式的本地靜態記憶體（SRAM）。
• 權重複用 (Weight Reuse)： NPU 的資料流控制機制會將神經網路的權重載入到乘加器陣列中並「停留」在那裡。當連續的影像特徵資料如同流水般通過這些乘加器時，就不需要為了每一次運算重新去外部 DRAM 讀取相同的權重。
• 透過這種巧妙的資料排程，NPU 將外部記憶體存取的頻率降到了最低，從根本上解決了功耗問題。

三、硬體電路固化：極致能效比的秘密

除了打破記憶體牆，NPU 還在硬體層面上進行了「斷捨離」。在 NPU 眼中，神經網路模型就是一堆矩陣乘法、加法，以及非線性啟動函數的組合。

因此，NPU 放棄了 CPU 內部為了處理複雜作業系統而設計的控制邏輯（如分支預測、亂序執行）。相反地，NPU 直接將神經網路中常見的數學操作，例如 ReLU 啟動函數（Activation Functions） 與 池化層（Pooling），直接燒錄成了專屬的「硬體電路」。

這種毫不妥協的特定領域架構設計，讓 NPU 能夠在毫瓦（mW）至 15 瓦（W）的極低功耗信封內，提供驚人的每秒兆次運算能力（TOPS），實現了極致的能效比。

四、NPU 在邊緣運算的實務應用

今日，NPU 已經悄悄地潛入我們生活的各個角落，成為了「邊緣 AI（Edge AI）」的中樞神經：

1. 智慧型手機： 現代手機 SoC（如 Apple A 系列、Snapdragon）內建的 NPU 負責了極其複雜的計算攝影（如即時夜景降噪、人像景深運算），以及完全斷網下的本地端自然語言處理與語音辨識。
2. 無人機與自駕車系統： 在高速移動的環境中，無人機必須依賴 NPU 在幾毫秒內處理多鏡頭影像，進行即時的深度估計與避障，因為將資料傳上雲端再等指令傳回，早已經來不及了。
3. 工業機器視覺： 工廠流水線上的高速瑕疵檢測系統，利用 NPU 可以在不外接龐大耗電 GPU 主機的情況下，直接在攝影機終端（Smart Camera）完成推論。這不僅解決了頻寬限制，也保護了工廠的生產資料隱私。

結語

神經處理單元（NPU）透過「資料流架構」與「特定硬體固化」，完美解決了邊緣運算設備在處理 AI 推論時的功耗與記憶體存取瓶頸。然而，當我們將目光從「終端邊緣設備」轉向「雲端資料中心」，當面臨的是包含數千億參數的巨型大型語言模型（LLM）的訓練任務時，即便 NPU 也顯得微不足道。在下一篇文章中，我們將直擊 AI 運算的最頂點：一窺 Google 為雲端打造的脈動陣列巨獸 —— 張量處理單元（TPU）。