1、现象描述

a）当在GPUStack（Docker方式部署）中使用QWen3-8B模型执行推理时，如下图所示，输出了几个字之后，此时SSH会卡顿，有时系统会死机、有时会自动重启、有时GPU会看不到了，很奇怪。

当GPU掉了之后，在执行npu-smi info时会报如下错误：

在GPUStack中的现象则是看不到GPU卡了。

b）刚开始怀疑是GPUStack镜像的问题，后面又更换了昇腾给出的官方镜像。

使用mindie:2.1.RC1-300I-Duo-py311-openeuler24.03-lts官方镜像，加载DeepSeek-R1-Distill-Qwen-7B模型，调用如下命令测试推理：

curl 127.0.0.1:1040/generate -d '{

"prompt": "What is deep learning?",

"max_tokens": 32,

"stream": false,

"do_sample":true,

"repetition_penalty": 1.00,

"temperature": 0.01,

"top_p": 0.001,

"top_k": 1,

"model": "qwen"

}'

可以推理成功，但是当我把max_tokens值变大后3200，系统直接就自动重启了，显存溢出还是啥情况？

2、环境说明

服务器：华为泰山服务器 鲲鹏920*2 + Atlas 300I Pro*2

操作系统：银河麒麟高级服务器版本Arm

推理环境：使用Docker镜像 gpustack:latest-npu-310p-linuxarm64 进行推理

物理机驱动版本：

    MCU：24.6.3

    NPU：Ascend-hdk-310p-npu-driver_25.2.0_linux-aarch64.run

              Ascend-hdk-310p-npu-firmware_7.7.0.6.236.run

    CANN：Ascend-cann-toolkit_8.2.RC1_linux-aarch64.run

                  Ascend-cann-kernels-310p_8.2.RC1_linux-aarch64.run

                 Ascend-cann-nnae_8.2.RC1_linux-aarch64.run

                 Ascend-cann-nnal_8.2.RC1_linux-aarch64.run

                 Ascend-cann-nnrt_8.2.RC1_linux-aarch64.run

    GPUStack镜像 驱动版本：

        Ascend-cann-nnal_8.2.RC1

       Ascend-toolkit版本：

            runtime_running_version=[8.2.0.0.201:8.2.RC1]

            compiler_running_version=[8.2.0.0.201:8.2.RC1]

            hccl_running_version=[8.2.0.0.201:8.2.RC1]

            opp_running_version=[8.2.0.0.201:8.2.RC1]

            toolkit_running_version=[8.2.0.0.201:8.2.RC1]

            aoe_running_version=[8.2.0.0.201:8.2.RC1]

            ncs_running_version=[8.2.0.0.201:8.2.RC1]

            opp_kernel_running_version=[8.2.0.0.201:8.2.RC1]

            runtime_upgrade_version=[8.2.0.0.201:8.2.RC1]

            compiler_upgrade_version=[8.2.0.0.201:8.2.RC1]

            hccl_upgrade_version=[8.2.0.0.201:8.2.RC1]

            opp_upgrade_version=[8.2.0.0.201:8.2.RC1]

            toolkit_upgrade_version=[8.2.0.0.201:8.2.RC1]

            aoe_upgrade_version=[8.2.0.0.201:8.2.RC1]

            ncs_upgrade_version=[8.2.0.0.201:8.2.RC1]

            opp_kernel_upgrade_version=[8.2.0.0.201:8.2.RC1]

            runtime_installed_version=[8.2.0.0.201:8.2.RC1]

            compiler_installed_version=[8.2.0.0.201:8.2.RC1]

            hccl_installed_version=[8.2.0.0.201:8.2.RC1]

            opp_installed_version=[8.2.0.0.201:8.2.RC1]

            toolkit_installed_version=[8.2.0.0.201:8.2.RC1]

            aoe_installed_version=[8.2.0.0.201:8.2.RC1]

            ncs_installed_version=[8.2.0.0.201:8.2.RC1]

            opp_kernel_installed_version=[8.2.0.0.201:8.2.RC1]