启动容器
- 完成构建镜像后，执行以下命令启动容器。
docker run -it -d --net=host --shm-size=1g \ --name <container-name> \ -w /home \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci_manager \ --device=/dev/hisi_hdc \ --device=/dev/devmm_svm \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \ -v /usr/local/dcmi:/usr/local/dcmi:ro \ -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi:ro \ -v /usr/local/sbin/:/usr/local/sbin:ro \ -v /path-to-weights:/path-to-weights:ro \ mindie-turbo:800I-A2-py311-Openeuler24.03-aarch64 bash
“mindie-turbo:800I-A2-py311-Openeuler24.03-aarch64”为镜像名称，可根据实际情况修改。
表1 参数说明 参数
参数说明
--name
设置容器名称。
--device
表示映射的设备，可以挂载一个或者多个设备。
需要挂载的设备如下：
- /dev/davinciX：NPU设备，X是ID号，如：davinci0。
- /dev/davinci_manager：davinci相关的管理设备。
- /dev/hisi_hdc：hdc相关管理设备。
- /dev/devmm_svm：内存管理相关设备。
说明：可根据以下命令查询device个数及名称方式，根据需要绑定设备，修改上面命令中的"--device=****"。
ll /dev/ | grep davinci
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro
将宿主机目录“/usr/local/Ascend/driver”挂载到容器，请根据驱动所在实际路径修改。
-v /usr/local/sbin:/usr/local/sbin:ro
将宿主机工具“/usr/local/sbin/”以只读模式挂载到容器中，请根据实际情况修改。
-v /path-to-weights:/path-to-weights:ro
设定权重挂载的路径，需要根据用户的情况修改。
说明：请将权重文件和数据集文件同时放置于该路径下。
- 执行以下命令进入容器。
1docker exec -it <container-name> /bin/bash
父主题： vLLM文本生成推理快速入门