MiniCPM-V-2.5 在Atlas300VPro 推理速度太慢
收藏回复举报
MiniCPM-V-2.5 在Atlas300VPro 推理速度太慢
t('forum.solved') 已解决
新人帖
发表于2024-08-30 17:27:45
0 查看

我参考了最新的代码: https://gitee.com/ascend/ModelZoo-PyTorch/tree/master/PyTorch/built-in/mlm/MiniCPM-V

然后下载了预训练权重:https://modelscope.cn/models/openbmb/minicpm-llama3-v-2_5/files

按照说明配置了开发环境,替换了部分文件后,运行代码

cp huggingface_modify/configuration_minicpm.py openbmb/MiniCPM-Llama3-V-2_5/configuration_minicpm.py
cp huggingface_modify/modeling_minicpmv.py openbmb/MiniCPM-Llama3-V-2_5/modeling_minicpmv.py
cp huggingface_modify/resampler.py openbmb/MiniCPM-Llama3-V-2_5/resampler.py

9fc3017c8139824c7acc8e440fc05da.png

可以看到速度700s+,是因为我的硬件是Atlas300Vpro才导致这么慢的吗?

我要发帖子