云端AI:如何降低迁移出GPU的难度,微软阿里这样解决

英伟达在云端AI训练芯片市场超过90%的市场份额,使得新竞争者纷纷将目光投向这家炙手可热的AI公司。许多人声称其AI性能超过了英伟达的新GPU产品,但尚未看到对英伟达护城河的真正突破。

与在硬件性能上超越英伟达相比,在软件生态方面迎头赶上显然更具挑战性。然而,微软亚洲研究院的 NNFusion 项目和阿里云的开源项目 HALO 正努力降低从 GPU 迁移到新硬件平台的难度和成本。再加上在多个重要 AI 模型中表现优于英伟达最新 A100 GPU 的 IPU,云 AI 芯片市场的格局可能在未来几年发生变化。

微软和阿里云的开源项目降低了从GPU迁移的难度

目前,人工智能的应用仍主要集中在互联网和云计算领域。因此,科技巨头很快发现,迁移到新平台不能仅仅依靠峰值算力。Graphcore中国高级副总裁兼总经理卢涛表示:“当客户考虑为新的软硬件平台付费时,他们首先考虑的是能获得多少收益。其次,他们会考虑涉及的成本,其中包括软件和硬件的迁移成本。”

对于科技巨头而言,GPU 确实是一个不错的选择,但考虑到成本、功耗以及自身业务的特点,它们仍有动力进行自主研发或迁移到其他高性能芯片。此时,软件就成为实现快速且低成本迁移的关键。

在将现有 AI 模型迁移到新的 AI 加速器时,当前常见做法是用 TensorFlow 编写一些后端来集成新硬件,这给社区和 AI 芯片公司都带来了负担,也增加了迁移的难度和成本。

微软亚洲研究院的 NNFusion 和阿里云的 HALO 开源项目旨在从 AI 编译的角度避免重复工作,使用户能够在 GPU 和其他 AI 加速器之间平滑迁移,尤其是在 GPU 和 IPU 之间。

换句话说,NNFusion 和 HALO 向上横跨 AI 框架,能够集成由 TensorFlow、PyTorch 或其他框架生成的模型。向下,用户只需使用 NNFusion 或 HALO 的接口,即可在不同的 AI 芯片上进行训练或推理。

该调度框架不仅降低了迁移的难度和成本,还提升了性能。根据在 OSDI 2020(计算机科学领域顶级学术会议之一)上发表的研究结果,研究人员在对 NVIDIA 和 AMD GPU 以及 Graphcore IPU 进行各种测试后发现,LSTM 训练模型在 IPU 上实现了 3 倍的提升。

当然,这些益处仍然需要开源社区与硬件提供商之间的密切合作,例如 Graphcore、微软亚洲研究院和阿里云之间的合作。

提升迁入 IPU 的便利性

“我们一直与阿里云HALO和微软NNFusion紧密合作,这两个项目支持的主要平台是GPU和IPU。”陆涛表示,“目前,针对IPU的完整支持代码odla_PopArt已经在阿里云HALO的GitHub仓库中提供。通过下载开源代码,它已经可以在IPU上使用。”

IPU 的便捷使用也依赖于主流机器学习框架的支持。本月,Graphcore 发布了适用于 IPU 的最新生产级 PyTorch 版本和 Poplar SDK 1.4。PyTorch 是 AI 研究人员社区中极受欢迎的机器学习框架,与 TensorFlow 共同占据市场。

PyTorch对IPU的支持引起了机器学习大师Yann LeCun的关注。它之所以受到广泛关注,是因为这种支持对IPU的广泛应用具有积极意义。

Graphcore中国工程负责人兼AI算法科学家Jin Chen介绍:“在PyTorch代码中,我们引入了一个名为PopTorch的轻量级接口。通过该接口,用户可以基于当前的PyTorch模型进行轻量级封装,然后无缝地在IPU和CPU上运行该模型。”

这也使得与 HALO 和 NNFusion 开源社区开展更好的合作成为可能。Jin Chen 对雷锋网表示:“不同框架有不同的中间表示格式,也就是 IR(Intermediate Representation,中间表示)。我们希望把不同的 IR 格式转换到我们共同的 PopART 计算图,这是兼容性中最关键的一点。”

据报道,IPU 对 TensorFlow 的支持与 TPU 一样,是通过 TensorFlow XLA 后端集成到 TensorFlow 框架中的。这实质上将 TensorFlow 计算图转换为 XLA 计算图,然后通过 XLA 计算图向下传递到 PopART 计算图。编译后,会生成一个可在 IPU 上执行的二进制文件。

Jin Chen认为:“层级图的转换是一个非常关键的因素,也需要一些定制工作,因为其中一些通用算子是基于IPU开发的,这对我们来说是一项相对特殊的任务。”

除了需要增加对不同 AI 框架以及 AI 框架内自定义算子的支持外,增强模型覆盖支持还可以降低迁移成本。

Jin Chen解释说,对于迁移训练模型,如果模型相对简单,通常需要一名开发者用一周时间完成,而更复杂的模型则需要两周。对于迁移推理模型,通常只需要1-2天即可完成。

IPU直接挑战GPU,云芯片市场或将改变

在AI时代,软硬件一体化的重要性更加凸显。卢涛表示:“AI处理器公司大致可以分为三类:一类是仍在展示PPT的公司,另一类是有芯片的公司,第三类是真正接近或已经拥有软件的公司。”

对于已经在软件方面取得进展的 Graphcore 来说,其硬件性能是否也能为用户提供足够的切换动力?本月,Graphcore 发布了基于 MK2 IPU 的 IPU-M2000 的多个模型的训练基准,包括 ResNet、基于分组卷积的 ResNeXt、EfficientNet 等典型 CV 模型,语音模型,BERT-Large 等自然语言处理模型,以及 MCMC 等传统机器学习模型。

其中,有一些相对显著的提升。例如,与 A100 GPU 相比,IPU-M2000 在 ResNet50 上实现了约 2.6 倍的吞吐量性能提升,在 ResNeXt101 上为 3.6 倍,在 EfficientNet 上为 18 倍,在 Deep Voice 3 上为 13 倍。

还值得一提的是,IPU-POD64 训练 BERT-Large 的速度比单台 DGX-A100 快 5.3 倍,比三台 DGX-A100 快 1.8 倍。一台 IPU-POD64 和三台 DGX-A100 的功耗与价格大致相同。

在IPU上训练BERT-Large这一成就之所以受到强调,不仅因为它是继NVIDIA GPU和Google TPU之后第三个能够训练该模型的AI芯片,还因为BERT-Large模型对当前芯片部署具有重要意义。

鲁涛表示:“如今,BERT-Large模型对产业界和研究界来说都是一个相对不错的基准,并且它至少在未来一年内仍将是生产级模型标准。”

不过,这一结果目前并非MLPerf的官方发布;正式结果还需等到Graphcore明年上半年正式参加MLPerf性能测试之后。最近,Graphcore宣布加入MLCommons,即MLPerf的管理机构。

“我相信,我们加入MLCommons并提交MLPerf,表明IPU即将在其核心领域与GPU直接竞争,也表明除了完成GPU无法做到的事情之外,IPU还能在GPU擅长的领域以更优的TCO实现同等甚至更好的性能。”卢涛表示。

微软亚洲研究院、阿里云和Graphcore正在共同推动从GPU向IPU的转变。突破性时刻何时到来?

关于我们

​我们致力于帮助中小企业实现数字化转型,我们的团队由一群充满激情和创新思维的专业人士组成,他们具备丰富的行业经验和技术专长。

扫一扫获取顾问以及手册

登录 留下评论
odoo外协委外加工生产如何配置?这里很详细
odoo实施