忧郁的大能猫
好奇的探索者，理性的思考者，踏实的行动者。
blog/A-IT/50-应用方向/AI/华为推理卡
Table of Contents:
推理卡驱动
- 推理卡固件及驱动程序：https://www.hiascend.com/hardware/firmware-drivers/community?product=2&model=29&cann=8.0.RC1.alpha001&driver=1.0.RC2.alpha
- 先装驱动
- 再装固件
CANN
- CANN：一种异构计算架构，位于芯片使能层，功能类似于英伟达 CUDA，可实现硬件加速。
- 通过 AscendCL 对外提供 Device 管理、Context 管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等 API。，帮助开发者实现在 CANN 平台上进行深度学习推理计算、图像预处理
- CANN：一种异构计算架构，位于芯片使能层，功能类似于英伟达 CUDA，可实现硬件加速。
AI框架，MindSpore
- MindStudio
- 一套开发工具链平台，其提供了应用开发、调试、模型转换、网络移植、优化和分析功能
- MindStudio
MindX SDK
pytorch 针对推理卡的插件
- 昇腾开发PyTorch Ascend Adapter插件（torch_npu）用于适配PyTorch框架
- 对cpu版本做了一个补充
模型适配
- 针对昇腾迁移模型必要的转换和改造。把pytorch、tensorflow的训练好的模型转换成om来使用
- ATC（Ascend Tensor Compiler）是华为昇腾软件栈提供的一个编译工具，它的主要功能是将基于开源框架的网络模型（如Caffe、TensorFlow等）以及单算子Json文件，转换成昇腾AI处理器支持的离线模型Offline-Model文件（简称OM文件）
- pt模型转onnx模型， yolo提供的功能 export.py
- onnx转om模型， ascend提供
- ATC工具进行转换
- onnx转om模型及推理流程 - 知乎
推理代码段代码的更改
- 所有cpu的地方改成npu
容器部署
使用前提
物理机上有Ascend 310/Ascend 310P芯片
物理机已安装对应CANN版本的驱动和固件
物理机已安装Docker，且Docker网络可用
安装docker
安装Ascend-Docker（容器引擎插件）
下载ascend基础镜像
华为ascend
云服务器类型 AI推理加速型 Ai1s
驱动包driver
固件包firmware
cann toolkit包
nnae 训练软件包
nnrt 推理软件包
安装驱动包后查看命令
npu-smi info华为Ascend众智计划项目--3DMPPE_ROOTNET--Pytorch模型迁移至NPU（一）_模型迁移npu-CSDN博客
yolov5从英伟达平台移植到华为昇腾开发板上的思路_yolo移植昇腾-CSDN博客
Atlas200DK部署YOLOV5_【深度学习】【atlas 200dk】yolov3和yolov5部署-CSDN博客
jackhanyuan/yolov5-ascend: YOLOv5 om model inference program on the Huawei Ascend platform
基于昇腾平台的llm+pytorch推理环境搭建_ascend-cann-toolkit 和 ascend-cann-nnrt-CSDN博客
遇到问题
执行 npu-smi info 后报以下的错误：
call drvMngGetConsoleLogLevel failed ,G_conLogLevel = 3
dcmi module initialize failed. fet is -8005异常分析：当前客户运行命令用户为普通用户，而npu-smi命令默认配置只有root和HwHiAiUser用户可以使用
解决方案：
1.切换到root或HwHiAiUser用户下执行npu-smi命令
2.添加普通用户到root或HwHiAiUser用户组后执行npu-smi命令
官方示例
resnet50_imagenet_classification
ACL
MindX SDK
3000 arm
3010 x86