华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
请教各位大佬:
mindie部署千问3-4B模型,在使用curl测试的时候,数字输出到155就被截断了,是跟mindie配置文件中的"maxSeqLen" : 2048 和 "maxInputTokenLen" : 4096, 这两个参数有关系吗?还是说还有其他参数限制,建议值设为多少合适呢?服务器是单张卡 24G显存
我要发帖子
请教各位大佬:
mindie部署千问3-4B模型,在使用curl测试的时候,数字输出到155就被截断了,是跟mindie配置文件中的"maxSeqLen" : 2048 和 "maxInputTokenLen" : 4096, 这两个参数有关系吗?还是说还有其他参数限制,建议值设为多少合适呢?服务器是单张卡 24G显存