企業採用 AI 時最常見的陷阱之一，就是將問題過度簡化為「買更多 GPU」。然而，隨著模型從標準 LLM 演進到混合專家（MoE）架構，推論瓶頸便從運算密度轉移到通訊延遲與記憶體頻寬。Google Cloud 分享了一套以 A4X（GB200 NVL72）與 NVIDIA Dynamo 為核心的參考推論解決方案，強調應將推論視為一項系統工程挑戰，由基礎架構層、服務層與編排層組成。
「ERP + AI」最關鍵的洞見
- AI 並非單體式應用程式：為了服務多條業務線、多個系統呼叫，以及可擴展的並行處理，它必須經過工程化設計。
- 成本與效能之間更詳細的取捨：不同情境（批次處理 vs 即時 Q&A）有不同的輸送量/延遲需求，因此需要分層架構。
- 平台化比堆疊硬體更重要：像是 K8s/GKE 的協調編排、快取管理與可觀測性，決定能否實現大規模重用。
三層架構（以企業語言翻譯）
- 基礎架構層：運算 + 網路 + 儲存（決定頻寬、延遲、穩定性）。
- 服務層：模型執行環境／推論引擎（KV 快取、排程、平行策略）。
- 編排層：資源生命週期、擴展、災難復原、配額與排程策略。
實作建議（先做對，再擴展）
- 依 SLA 將業務場景分類：即時（低延遲）/近即時/離線批次處理。
- 優先設計「資料與快取」：上下文、向量資料庫、KV 快取、冷熱分層。
- 讓可觀測性成為預設：追蹤每次推理呼叫的成本、延遲和失敗原因。
參考文獻
Google Cloud 部落格：在 Google Cloud A4X 上使用 NVIDIA Dynamo 擴展 MoE 推論
