魔乐社区教程:https://modelers.cn/models/Models_Ecosystem/InternVL3-38B
问题1.推理stop reason是length,模型回复正常的回答后会一直填充<|im_end|>直到max tokens限制。
解决办法:发现是internvl3官方发布的config.json文件中eos_token_id应该写错了,参考intern2_5vl应该是"eos_token_id": 151645。修改后回复内容一直填充<|im_end|>的问题解决了。奇怪的是在nvidia上使用lmdeploy推理没有这个问题。
问题2.解决问题1后出现content内容有时候会出现只有<|im_end|>的情况,像是模型没有回答问题一样。有时候是正常的。
解决办法:尚未找到
使用的机器是800T A2,镜像是2.0.T3.1-800I-A2-py311-openeuler24.03-lts,参考了internvl2_5的教程,使用了魔乐社区上的推理脚本覆盖掉容器中自带的脚本。 镜像如果使用1.0.0-800I-A2-py311-openeuler24.03-lts,使用internvl2_5相同的环境的话回复中会出现�字符。
魔乐社区教程:https://modelers.cn/models/Models_Ecosystem/InternVL3-38B
问题1.推理stop reason是length,模型回复正常的回答后会一直填充<|im_end|>直到max tokens限制。
解决办法:发现是internvl3官方发布的config.json文件中eos_token_id应该写错了,参考intern2_5vl应该是"eos_token_id": 151645。修改后回复内容一直填充<|im_end|>的问题解决了。奇怪的是在nvidia上使用lmdeploy推理没有这个问题。
问题2.解决问题1后出现content内容有时候会出现只有<|im_end|>的情况,像是模型没有回答问题一样。有时候是正常的。
解决办法:尚未找到
使用的机器是800T A2,镜像是2.0.T3.1-800I-A2-py311-openeuler24.03-lts,参考了internvl2_5的教程,使用了魔乐社区上的推理脚本覆盖掉容器中自带的脚本。 镜像如果使用1.0.0-800I-A2-py311-openeuler24.03-lts,使用internvl2_5相同的环境的话回复中会出现�字符。