前提条件

已完成安装前准备，具体操作请参见安装前准备。

约束限制

Ascend Device Plugin会周期性调用NPU驱动的相关接口。如果要升级驱动，请先停止Ascend Device Plugin。
Ascend Device Plugin调用的DCMI动态库及其所有父目录，需要满足属主为root，其他属主程序无法运行；同时，这些文件及其目录需满足group和other不具备写权限。
DCMI动态库路径深度必须小于20。
如果通过设置LD_LIBRARY_PATH设置动态库路径，LD_LIBRARY_PATH环境变量总长度不能超过1024。
Atlas 200I Soc A1 核心板节点上Ascend Device Plugin只支持二进制方式运行。

操作步骤

Ascend Device Plugin支持两种安装方式，用户可根据实际情况选择其中一种进行安装。

（推荐）当安全要求较高时，建议在物理机上以二进制方式运行，安装步骤参见二进制方式运行。
以容器化方式运行，安装步骤参见容器化方式运行。

二进制方式运行

Ascend Device Plugin组件使用特权容器、root用户，如果容器被人恶意利用，有容器逃逸风险。建议节点导入kubeConfig配置文件后，直接在物理机上通过二进制服务启动。

获取Ascend Device Plugin软件包，请参见准备软件包。
使用root用户登录服务器，将软件包上传到组件安装服务器的任意目录（如“/home/ascend-device-plugin”）并解压。
如果使用K8s原生调度（Ascend Device Plugin启动参数volcanoType设置为false），可跳过该步骤。协同Volcano使用时（启动参数volcanoType设置为true），Ascend Device Plugin需要操作K8s的资源，需要通过外部导入加密KubeConfig文件进行授权。参考以下ClusterRole配置的资源权限，自行生成KubeConfig文件并导入（也可以参见导入KubeConfig文件制作、导入KubeConfig文件）。
```
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
...
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["get", "list", "update"]
  - apiGroups: [""]
    resources: ["nodes"]
    verbs: ["get", "patch"]
  - apiGroups: [""]
    resources: ["nodes/status"]
    verbs: ["get", "patch"]
  - apiGroups: [""]
    resources: ["configmaps"]
    verbs: ["get", "create", "update"]
```

创建device-plugin.service文件，并修改“NODE_NAME”环境变量。

[Unit]
Description=Ascend k8s device plugin 
Documentation=hiascend.com

[Service]
ExecStart=/bin/bash -c "/usr/local/bin/device-plugin -volcanoType=true -logFile=/var/log/mindx-dl/devicePlugin/devicePlugin.log>/dev/null  2>&1 &"
Restart=always
RestartSec=2
KillMode=process
Environment="LD_LIBRARY_PATH=/usr/local/kmc"
Environment="GOGC=50"
Environment="GOMAXPROCS=2"
Environment="GODEBUG=madvdontneed=1"
Environment="NODE_NAME=<当前节点的k8s node name>"
Type=forking
User=hwMindX
Group=hwMindX

[Install]
WantedBy=multi-user.target

如需修改启动参数，可以自行修改“device-plugin.service”的“ExecStart”字段。字段请参考表2。
```
...
[Service]
ExecStart=/bin/bash -c "/usr/local/bin/device-plugin  -volcanoType=true   -logFile=/var/log/mindx-dl/devicePlugin/devicePlugin.log &"
Restart=always
RestartSec=2
...
```
如果部署节点为Atlas 200I Soc A1 核心板，需要在“ExecStart”字段设置参数“-userAscendDocker=false”。
如果部署节点不为Atlas 200I Soc A1 核心板，可跳过该步骤。否则，需要在所有该类型节点上将hwMindX用户加入到HwBaseUser、HwDmUser用户组中。可执行如下命令：
```
usermod -a -G HwBaseUser hwMindX
usermod -a -G HwDmUser hwMindX
```

执行以下命令启用device-plugin服务。

cd /home/ascend-device-plugin
mkdir /usr/local/kmc
cp -r lib/* /usr/local/kmc
cp device-plugin /usr/local/bin
cp device-plugin.service /etc/systemd/system
chmod 444 /usr/local/kmc/*
chmod 755 /usr/local/kmc
chmod 555 /usr/local/bin/device-plugin
setcap CAP_CHOWN,CAP_DAC_OVERRIDE+ep /usr/local/bin/device-plugin
tee /etc/ld.so.conf.d/ascend_dl_so.conf <<- EOF
/usr/local/kmc
EOF
ldconfig
chattr +i /etc/systemd/system/device-plugin.service
systemctl enable device-plugin
systemctl start device-plugin

由于Ascend Device Plugin需要访问主机路径 “/var/lib/kubelet/device-plugins/”，并且需要修改创建的sock属主为root，因此上述命令包含为二进制添加对应的能力项。

加密组件依赖的动态库文件lib目录中提供了libcrypto.so动态库，在某些环境下可能会与系统自带库冲突，如果执行安装过程出现了包含openssl相关的错误，请参见FAQ解决。

容器化方式运行

以root用户登录各计算节点，并执行以下命令查看镜像和版本号是否正确。
```
docker images | grep k8sdeviceplugin
```
示例如下：
```
root@ubuntu:~# docker images|grep k8sdeviceplugin 
ascend-k8sdeviceplugin               v3.0.RC3              29eec79eb693        About an hour ago   105MB
```
- 是，执行2。
- 否，请参见制作基础镜像，完成镜像制作和分发。

将从开源社区开获取的yaml文件拷贝到K8s管理节点上。请注意此处需使用适配具体处理器型号的yaml文件，详见下表。

表1 Ascend Device Plugin的yaml文件列表
yaml文件列表	说明
device-plugin-310-{version}.yaml	Atlas 200/300/500 推理产品上不使用Volcano的配置文件
device-plugin-310P-{version}.yaml	Atlas 推理系列产品上不使用Volcano的配置文件
device-plugin-910-{version}.yaml	Atlas训练系列产品上不使用Volcano的配置文件
device-plugin-volcano-{version}.yaml	Atlas训练系列产品上使用Volcano的配置文件
device-plugin-310-volcano-{version}.yaml	Atlas 200/300/500 推理产品上使用Volcano的配置文件。
device-plugin-310P-volcano-{version}.yaml	Atlas 推理系列产品上使用Volcano的配置文件。

如不修改组件启动参数，可跳过本步骤。否则，根据实际情况修改Ascend Device Plugin的启动参数。启动参数请参见表2，可执行./device-plugin -h查看参数说明。
如果使用K8s原生调度（Ascend Device Plugin启动参数volcanoType设置为false），可跳过该步骤。协同Volcano使用时（启动参数volcanoType设置为true），Ascend Device Plugin需要操作K8s相关资源，因此需要为Ascend Device Plugin授权，授权方式有两种。
- 导入授权的KubeConfig文件。
- 使用yaml中创建的ServiceAccount。
如果不导入KubeConfig文件，使用ServiceAccount，可跳过本步骤。由于K8s自带的ServiceAccount的token文件会挂载到物理机上，有暴露风险，可通过外部导入加密的KubeConfig文件替换ServiceAccount进行安全加固。根据kubectl相关指导，参考device-plugin-volcano-{version}.yaml中ClusterRole配置的资源权限，自行生成KubeConfig文件并导入（也可以参见导入KubeConfig文件制作、导入KubeConfig文件）。然后在yaml启动文件中添加安全加固相关路径的挂载配置。下方是在Atlas训练系列产品节点（协同Volcano和HCCL-Controller使用）开启安全加固的yaml启动文件。其他类型处理器节点yaml文件安全加固挂载路径配置方式相同。
```
...
apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: ascend-device-plugin-daemonset-910
  namespace: kube-system
spec:
  selector:
    matchLabels:
      name: ascend-device-plugin-ds
...
    spec:
...
      containers:
        - image: ascend-k8sdeviceplugin:v2.0.3  # 用户需替换当前使用的版本
...
          volumeMounts:
            
...
            - name: kmckeystore
              mountPath: /etc/mindx-dl/kmc_primary_store
            - name: kmckeybak
              mountPath: /etc/mindx-dl/.config
            - name: kmc-deviceplugin
              mountPath: /etc/mindx-dl/device-plugin
...
      volumes:

...
        - name: kmckeystore
          hostPath:
            path: /etc/mindx-dl/kmc_primary_store
        - name: kmckeybak
          hostPath:
            path: /etc/mindx-dl/.config
        - name: kmc-deviceplugin
          hostPath:
            path: /etc/mindx-dl/device-plugin
...
```

在K8s管理点上执行以下命令，启动对应服务。

K8s集群中存在使用Atlas 200/300/500 推理产品节点（Ascend Device Plugin独立工作，不协同Volcano使用）。
```
kubectl apply -f device-plugin-310-*.yaml
```
K8s集群中存在使用Atlas训练系列产品）。
```
kubectl apply -f device-plugin-volcano-*.yaml
```
K8s集群中存在使用Atlas 推理系列产品节点（Ascend Device Plugin独立工作，不协同Volcano使用）。
```
kubectl apply -f device-plugin-310P-*.yaml
```

K8s集群中存在使用Atlas训练系列产品节点（Ascend Device Plugin独立工作，不协同Volcano和HCCL-Controller使用）。
```
kubectl apply -f device-plugin-910-*.yaml
```

K8s集群中存在使用Atlas 200/300/500 推理产品节点（协同Volcano使用）。
```
kubectl apply -f device-plugin-310-volcano-*.yaml
```
K8s集群中存在使用Atlas 推理系列产品节点（协同Volcano使用）。
```
kubectl apply -f device-plugin-310P-volcano-*.yaml
```

如果K8s集群使用了多种类型的昇腾处理器，请分别执行对应命令。

启动示例如下所示：

root@ubuntu:/home/ascend-device-plugin# kubectl apply -f device-plugin-volcano-v3.0.RC3.yaml
serviceaccount/ascend-device-plugin-sa created
clusterrole.rbac.authorization.k8s.io/pods-node-ascend-device-plugin-role created
clusterrolebinding.rbac.authorization.k8s.io/pods-node-ascend-device-plugin-rolebinding created
daemonset.apps/ascend-device-plugin-daemonset created
root@ubuntu:/home/ascend-device-plugin# kubectl get pod -n kube-system
NAME                                       READY   STATUS    RESTARTS   AGE
...
ascend-device-plugin-daemonset-d5ctz       1/1     Running   0          11s
...

参数说明