DeepSeekV2-Lite-Chat模型推理输出乱码问题
收藏回复举报
DeepSeekV2-Lite-Chat模型推理输出乱码问题
t('forum.solved') 已解决
发表于2025-02-12 11:41:36
0 查看

一、问题描述:
        MindIE1.0.0容器内尝试跑deepseekv2对话测试demo,执行了examples/models/deepseekv2/run_pa.sh脚本,推理输出为乱码。运行日志详见附件。
        所用权重为:deepseekv2-lite-chat-16B
        执行指令:

bash examples/models/deepseekv2/run_pa.sh /worksapce/deepseekv2/ --trust_remote_code

        运行结果:


二、系统版本:
       1.系统:ubuntu22.04 arm64
       2.驱动版本:24.1.rc2

cke_42838.png
三、镜像版本:MindIE:1.0.0-800I-A2-py311-openeuler24.03-lts arm64
四、容器启动指令:

docker run -itd --privileged  --name=mindie --net=host \
   --shm-size 500g \
   --device=/dev/davinci0 \
   --device=/dev/davinci1 \
   --device=/dev/davinci2 \
   --device=/dev/davinci3 \
   --device=/dev/davinci4 \
   --device=/dev/davinci5 \
   --device=/dev/davinci6 \
   --device=/dev/davinci7 \
   --device=/dev/davinci_manager \
   --device=/dev/hisi_hdc \
   --device /dev/devmm_svm \
   -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
   -v /usr/local/Ascend/firmware:/usr/local/Ascend/firmware \
   -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
   -v /usr/local/sbin:/usr/local/sbin \
   -v /etc/hccn.conf:/etc/hccn.conf \
   -v /xxx/MindIE/deepseekv2-lite-chat:/worksapce/deepseekv2 \
   swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-800I-A2-py311-openeuler24.03-lts \
   bash

本帖最后由 匿名用户2025/02/12 11:42:53 编辑

我要发帖子