tokenids推理样例

执行样例前请使用以下命令配置环境变量。

source /usr/local/Ascend/ascend-toolkit/set_env.sh                                 # CANN
source /usr/local/Ascend/nnal/atb/set_env.sh                                       # ATB
source /home/package/atb_models/set_env.sh                                         # ATB Models
source /usr/local/Ascend/mindie/set_env.sh                                         # MindIE

带后处理性能测试样例

# Engine模式 tokenids推理
SMPL_PARAM="{\"temperature\":0.5,\"top_k\":10,\"top_p\":0.9,\"typical_p\":0.9,\"seed\":1234,\"repetition_penalty\":1,\"watermark\":true,\"truncate\":10}"  
benchmark \
--DatasetPath "/${home}/gsm8k/xx.csv" \
--DatasetType "gsm8k" \
--ModelName "baichuan2_13b" \
--ModelPath "/${home}/baichuan2-13b" \
--TestType engine \
--Concurrency 50 \
--Tokenizer False \
--DoSampling True \
--SamplingParams=$SMPL_PARAM

图1 Engine模式tokenids推理

MindIE Benchmark的Engine推理模式输出参数说明请参见表1和表2。

不带后处理性能测试样例

# Engine模式 tokenids推理  
benchmark \
--DatasetPath "/${home}/gsm8k/xx.csv" \
--DatasetType "gsm8k" \
--ModelName "baichuan2_13b" \
--ModelPath "/${home}/baichuan2-13b" \
--TestType engine \
--Tokenizer False \
--Concurrency 50

父主题： Engine推理模式