基于香橙派AI Studio的yolo11推理应用部署

01前言

YOLO11 是 Ultralytics YOLO 系列实时目标检测器的最新迭代版本，它以前沿的精度、速度和效率重新定义了可能性。YOLO11 在之前 YOLO 版本的显著进步基础上，在架构和训练方法上进行了重大改进，使其成为各种计算机视觉任务的多功能选择。本案例在香橙派AI Studio进行推理应用部署，实验环境请参考在线课程：《开箱实测OrangePi AI Studio》。

2.实验环境

硬件准备

系统基础环境

本案例环境要求

因与其他python环境不一致，可采用conda创建虚拟环境。以下是具体环境搭建的过程

2.1 实验环境搭建

2.1.1 安装 Miniconda

1.下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2.添加可执行权限

sudo chmod +x Miniconda3-latest-Linux-x86_64.sh

3.运行安装脚本

sudo ./Miniconda3-latest-Linux-x86_64.sh

4.将 Miniconda 加入 PATH 路径

vim ~/.bashrc
# 在文件末尾添加以下内容
export PATH="/home/your_username/miniconda3/bin:$PATH"
source ~/.bashrc

2.1.2 创建案例虚拟环境

1.创建 conda 环境

conda create -n yolo11 python=3.11

2.激活 conda 环境

conda activate yolo11

3.安装Ultralytics 库

pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple
#在安装中会自动安装多个库，等待安装成功即可

4.torch安装

# 下载软件包
wget https://download.pytorch.org/whl/cpu/torch-2.1.0%2Bcpu-cp311-cp311-linux_x86_64.whl
# 安装命令
pip3 install torch-2.1.0+cpu-cp311-cp311-linux_x86_64.whl

5.torch_npu安装

# 下载插件包
wget https://gitcode.com/Ascend/pytorch/releases/download/v7.1.0-pytorch2.1.0/torch_npu-2.1.0.post13-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
# 安装命令
pip3 install torch_npu-2.1.0.post13-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

6.安装依赖

pip install numpy==1.24.4 decorator attrs psutil absl-py cloudpickle ml-dtypes psutil scipy tornado PyYAML -i https://mirrors.huaweicloud.com/repository/pypi/simple
pip install torchvision=0.16 -i https://pypi.tuna.tsinghua.edu.cn/simple
sudo apt update
sudo apt install -y g++-12

7.查看安装库版本是否与要求的一致

pip list
#torch、torch_npu、numpy、torchvision 主要是这几个库版本与前文要求一致

8.验证是否安装成功

source /usr/local/Ascend/ascend-toolkit/set_env.sh
python -c "import torch;import torch_npu; a = torch.randn(3, 4).npu(); print(a + a);"

3.实验过程

• 创建运行代码目录

mkdir yolo11
cd yolo11
mkdir images

从官网下载下载yolo模型，放到yolo11目录下。

在images目录下 放待检测的图片,检测图片可从链接中下载。以yolo11n，目标检测模型为例，其他同理。

1.编辑脚本

vi yolo11_detect.py

yolo11_detect.py脚本如下

import argparse

import torch

import torch_npu

from torch_npu.contrib import transfer_to_npu

from ultralytics import YOLO

if __name__ == '__main__':

    torch_npu.npu.set_compile_mode(jit_compile=False)

    torch_npu.npu.config.allow_internal_format = False

    device = torch.device('npu:0')

    model = YOLO('./yolo11n.pt').to(device)

    pred = model(source='./images', save=True, save_txt=True, imgsz=640, conf=0.65)

编辑完成后，保存退出。

2.运行脚本

python yolo11_detect.py

输出推理结果

拓展：

1、可接入USB摄像头，进行实时目标检测

2、可替换其他模型，进行图像分类、目前检测、图像分割、姿态识别等

4.总结

本案例在香橙派AI Studio 上，使用torch_npu进行yolo11目标检测推理应用部署。