华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
在昇腾系统中目前设置的参数是
maxSeqLen" : 32768,
maxInputTokenLen" : 16384,
maxPrefillBatchSize" : 100,
maxPrefillTokens" : 16384
maxBatchSize" : 200,
maxIterTimes" : 16384
输入加上输出大约是1.2万字,有什么更好的参数配置,能提高输入和输出量。或者其他方法也行。
我要发帖子
在昇腾系统中目前设置的参数是
maxSeqLen" : 32768,
maxInputTokenLen" : 16384,
maxPrefillBatchSize" : 100,
maxPrefillTokens" : 16384
maxBatchSize" : 200,
maxIterTimes" : 16384
输入加上输出大约是1.2万字,有什么更好的参数配置,能提高输入和输出量。或者其他方法也行。