部署推理qwen时加载权重好像因内存不足出现被kill的问题
收藏回复举报
部署推理qwen时加载权重好像因内存不足出现被kill的问题
t('forum.solved') 已解决
发表于2024-10-31 15:05:45
0 查看

 1、Mindspore和Mindformers版本

Python-3.10.15

Mindspore-2.4.0

Mindformers-1.2.0

ps:已经验证Mindspore安装正确

2、qwen推理脚本(qwen_7b_base.ckpt)

python run_qwen.py \
 --config predict_qwen_7b.yaml \
 --load_checkpoint qwen_7b_base.ckpt \
 --vocab_file qwen.tiktoken \
 --auto_trans_ckpt False \
 --seq_length 2048 \
 --device_id 0 \
 --use_parallel False \
 --run_mode predict \
 --predict_data '比较适合深度学习入门的书籍有'

3、显卡型号

4、报错

cke_140.png

5、ps

我执行过如下脚本,但是好像没用

我要发帖子