輝達在雲端AI訓練晶片市場超過90%的市佔率,使得新競爭者紛紛將目光投向這家炙手可熱的AI公司。許多人聲稱其AI效能超過了輝達的新GPU產品,但尚未看到對輝達護城河的真正突破。
與在硬體效能上超越輝達相比,在軟體生態方面迎頭趕上顯然更具挑戰性。然而,微軟亞洲研究院的 NNFusion 專案和阿里雲的開源專案 HALO 正努力降低從 GPU 遷移到新硬體平台的難度與成本。再加上在多個重要 AI 模型中表現優於輝達最新 A100 GPU 的 IPU,雲端 AI 晶片市場的格局可能在未來幾年發生變化。
微軟和阿里雲的開源項目降低了從GPU遷移的難度
目前,人工智慧的應用仍主要集中在網際網路和雲端運算領域。因此,科技巨頭很快發現,遷移到新平台不能僅僅依靠峰值算力。Graphcore中國高級副總裁兼總經理盧濤表示:「當客戶考慮為新的軟硬體平台付費時,他們首先考慮的是能獲得多少收益。其次,他們會考慮涉及的成本,其中包括軟體和硬體的遷移成本。」
對於科技巨頭而言,GPU 確實是一個不錯的選擇,但考慮到成本、功耗以及自身業務的特點,它們仍有動力進行自主研發或遷移到其他高效能晶片。此時,軟體就成為實現快速且低成本遷移的關鍵。
在將現有 AI 模型遷移到新的 AI 加速器時,目前常見做法是用 TensorFlow 編寫一些後端來整合新硬體,這給社群和 AI 晶片公司都帶來了負擔,也增加了遷移的難度和成本。
微軟亞洲研究院的 NNFusion 和阿里雲的 HALO 開源項目旨在從 AI 編譯的角度避免重複工作,使用戶能夠在 GPU 和其他 AI 加速器之間平滑遷移,尤其是在 GPU 和 IPU 之間。
換句話說,NNFusion 和 HALO 向上橫跨 AI 框架,能夠集成由 TensorFlow、PyTorch 或其他框架生成的模型。向下,用戶只需使用 NNFusion 或 HALO 的接口,即可在不同的 AI 晶片上進行訓練或推理。
該排程框架不僅降低了遷移的難度和成本,還提升了效能。根據在 OSDI 2020(電腦科學領域頂級學術會議之一)上發表的研究結果,研究人員在對 NVIDIA 和 AMD GPU 以及 Graphcore IPU 進行各種測試後發現,LSTM 訓練模型在 IPU 上達到了 3 倍的提升。
當然,這些益處仍然需要開源社群與硬體供應商之間的密切合作,例如 Graphcore、微軟亞洲研究院和阿里雲之間的合作。
提升遷入 IPU 的便利性
“我們一直與阿里雲HALO和微軟NNFusion緊密合作,這兩個項目支持的主要平台是GPU和IPU。”陸濤表示,“目前,針對IPU的完整支持代碼odla_PopArt已經在阿里雲HALO的GitHub倉庫中提供。通過下載開源代碼,它已經可以在IPU上使用。”
IPU 的便捷使用也依賴於主流機器學習框架的支持。本月,Graphcore 發布了適用於 IPU 的最新生產級 PyTorch 版本和 Poplar SDK 1.4。PyTorch 是 AI 研究人員社區中極受歡迎的機器學習框架,與 TensorFlow 共同佔據市場。
PyTorch對IPU的支持引起了機器學習大師Yann LeCun的關注。它之所以受到廣泛關注,是因為這種支持對IPU的廣泛應用具有積極意義。
Graphcore中國工程負責人兼AI算法科學家Jin Chen介紹:“在PyTorch代碼中,我們引入了一個名為PopTorch的輕量級接口。通過該接口,用戶可以基於當前的PyTorch模型進行輕量級封裝,然後無縫地在IPU和CPU上運行該模型。”
這也使得與 HALO 和 NNFusion 開源社群開展更好的合作成為可能。Jin Chen 對雷鋒網表示:「不同框架有不同的中間表示格式,也就是 IR(Intermediate Representation,中間表示)。我們希望把不同的 IR 格式轉換到我們共同的 PopART 計算圖,這是相容性中最關鍵的一點。」
據報導,IPU 對 TensorFlow 的支援與 TPU 一樣,是透過 TensorFlow XLA 後端整合到 TensorFlow 框架中的。這實質上將 TensorFlow 計算圖轉換為 XLA 計算圖,然後透過 XLA 計算圖向下傳遞到 PopART 計算圖。編譯後,會產生一個可在 IPU 上執行的二進位檔案。
Jin Chen認為:「層級圖的轉換是一個非常關鍵的因素,也需要一些定製工作,因為其中一些通用算子是基於IPU開發的,這對我們來說是一項相對特殊的任務。」
除了需要增加對不同 AI 框架以及 AI 框架內自訂算子的支援外,增強模型覆蓋支援還可以降低遷移成本。
Jin Chen解釋說,對於遷移訓練模型,如果模型相對簡單,通常需要一名開發者用一週時間完成,而更複雜的模型則需要兩週。對於遷移推理模型,通常只需要1-2天即可完成。
IPU直接挑戰GPU,雲晶片市場或將改變
在AI時代,軟硬體一體化的重要性更加凸顯。盧濤表示:「AI處理器公司大致可以分為三類:一類是仍在展示PPT的公司,另一類是有晶片的公司,第三類是真正接近或已經擁有軟體的公司。」
對於已經在軟體方面取得進展的 Graphcore 來說,其硬體效能是否也能為使用者提供足夠的切換動力?本月,Graphcore 發布了基於 MK2 IPU 的 IPU-M2000 的多個模型的訓練基準,包括 ResNet、基於分組卷積的 ResNeXt、EfficientNet 等典型 CV 模型,語音模型,BERT-Large 等自然語言處理模型,以及 MCMC 等傳統機器學習模型。
其中,有一些相對顯著的提升。例如,與 A100 GPU 相比,IPU-M2000 在 ResNet50 上實現了約 2.6 倍的吞吐量效能提升,在 ResNeXt101 上為 3.6 倍,在 EfficientNet 上為 18 倍,在 Deep Voice 3 上為 13 倍。
還值得一提的是,IPU-POD64 訓練 BERT-Large 的速度比單台 DGX-A100 快 5.3 倍,比三台 DGX-A100 快 1.8 倍。一台 IPU-POD64 和三台 DGX-A100 的功耗與價格大致相同。
在IPU上訓練BERT-Large這一成就之所以受到強調,不僅因為它是繼NVIDIA GPU和Google TPU之後第三個能夠訓練該模型的AI晶片,還因為BERT-Large模型對當前晶片部署具有重要意義。
魯濤表示:“如今,BERT-Large模型對產業界和研究界來說都是一個相對不錯的基準,並且它至少在未來一年內仍將是生產級模型標準。”
不過,這一結果目前並非MLPerf的官方發布;正式結果還需等到Graphcore明年上半年正式參加MLPerf效能測試之後。最近,Graphcore宣布加入MLCommons,即MLPerf的管理機構。
“我相信,我們加入MLCommons並提交MLPerf,表明IPU即將在其核心領域與GPU直接競爭,也表明除了完成GPU無法做到的事情之外,IPU還能在GPU擅長的領域以更優的TCO實現同等甚至更好的性能。”盧濤表示。
微軟亞洲研究院、阿里雲和Graphcore正在共同推動從GPU向IPU的轉變。突破性時刻何時到來?
