昇腾910A跑DeepSeek-R1-Distill-Llama-70B参数配置
收藏回复举报
昇腾910A跑DeepSeek-R1-Distill-Llama-70B参数配置
新人帖
发表于2025-03-08 21:10:27
0 查看

在昇腾系统中目前设置的参数是

maxSeqLen" : 32768, 

maxInputTokenLen" : 16384, 

maxPrefillBatchSize" : 100, 

maxPrefillTokens" : 16384 

maxBatchSize" : 200, 

maxIterTimes" : 16384

输入加上输出大约是1.2万字,有什么更好的参数配置,能提高输入和输出量。或者其他方法也行。

我要发帖子