模型训练好后,一般需要将模型转换为开发板要求的 om 格式。然后使用昇腾提供的 MindSDK 或 ACL 编写推理程序,调用 om 格式的模型做推理。使用 MindSDK 或 ACL 编写推理程序,就能够用到开发板的 NPU 算力做推理。
还有可能的方法是安装昇腾提供的 torch-npu 插件,也可以使用开发板的 NPU 算力。截止到 25-06-17,已可以在开发板上成功安装 torch-npu。安装后验证 torch-npu 也可完成,就是对向量做加法,也能计算出数值,但耗时较长要几分钟。后续待进一步验证是否可用到推理中。
以下是相关环节的一些说明和学习笔记,供参考。更多信息可参考昇腾社区文档:Atlas 200I DK A2 开发者套件 。