文本推理样例

执行样例前请使用以下命令配置环境变量。

source /usr/local/Ascend/ascend-toolkit/set_env.sh                                 # CANN
source /usr/local/Ascend/nnal/atb/set_env.sh                                       # ATB
source /home/package/atb_models/set_env.sh                                         # ATB Models
source /usr/local/Ascend/mindie/set_env.sh                                         # MindIE

带后处理性能测试样例

# Engine模式 文本推理
SMPL_PARAM="{\"temperature\":0.5,\"top_k\":10,\"top_p\":0.9,\"typical_p\":0.9,\"seed\":1234,\"repetition_penalty\":1,\"watermark\":true,\"truncate\":10}"  
benchmark \ 
--DatasetPath "/{模型库安装路径}/tests/modeltest/dataset/full/CEval" \
--DatasetType "ceval" \
--ModelName "baichuan2_13b" \
--ModelPath "/${home}/baichuan2-13b" \
--TestType engine \
--Concurrency 50 \
--MaxOutputLen 512 \
--Tokenizer True \
--DoSampling True \
--SamplingParams=$SMPL_PARAM

Engine文本推理模式输出结果如图1所示：

图1 Engine文本推理模式

不带后处理性能测试样例

# Engine模式 文本推理
benchmark \
--DatasetPath "/{模型库安装路径}/tests/modeltest/dataset/full/CEval" \
--DatasetType "ceval" \
--ModelName "baichuan2_13b" \
--ModelPath "/${home}/baichuan2-13b" \
--TestType engine \
--Concurrency 50 \
--MaxOutputLen 512 \
--Tokenizer True

精度测试样例

需要开启确定性计算环境变量。

export LCCL_DETERMINISTIC=1
export HCCL_DETERMINISTIC=1
export ATB_MATMUL_SHUFFLE_K_ENABLE=0
export ATB_LLM_LCOC_ENABLE=0

并发数需设置为1，确保模型推理时是1batch输入，这样才可以和纯模型比对精度。
使用CEval比对精度时，MaxOutputLen应该设为20，MindIE Server的config.json文件中MaxSeqlen需要设置为3072。
使用MMLU比对精度时，MaxOutputLen应该设为20，MindIE Server的config.json文件中MaxSeqlen需要设置为3600，该数据集中有约为1.4w条数据，推理耗时会比较长。

样例如下所示：

benchmark \
--DatasetPath "/{模型库安装路径}/tests/modeltest/dataset/full/CEval" \
--DatasetType "ceval" \
--ModelName "baichuan2_13b" \
--ModelPath "/${home}/baichuan2-13b" \
--TestType engine \
--Concurrency 1 \
--MaxOutputLen 20 \
--Tokenizer True \
--TestAccuracy True

父主题： Engine推理模式