llm_engine_test

命令功能

支持用户使用自定义的数据集进行性能验证。

命令格式

./bin/llm_engine_test 可选参数1 可选参数2 可选参数3

参数说明

操作步骤

1. 配置config.json文件内容，请参考《MindIE安装指南》中的“配置MindIE > 配置MindIE Server > 单机推理”章节中的步骤3。
2. 提供测试数据集，将数据集文件上传至llm_engine_test所在目录。
   用户自定义数据集需满足以下格式要求：

   • 每一行表示一条数据，均以1开头，每个token id之间以逗号相隔（每行最后一个token id后不加逗号）。
   • 请求数建议不超过50000条。
   • token id取值限制以词表为准，即配置项“modelWeightPath”下面的config.json，其中“vocab_size”字段的值。

     以“/data/atb_testdata/weights/llama1-65b-safetensors”目录下的config.json为例，即token id不能超过32000。

     {
       "architectures": [
         "LlamaForCausalLM"
       ],
       "bos_token_id": 1,
       "eos_token_id": 2,
       "hidden_act": "silu",
       "hidden_size": 8192,
       "initializer_range": 0.02,
       "intermediate_size": 22016,
       "max_sequence_length": 2048,
       "model_type": "llama",
       "num_attention_heads": 64,
       "num_hidden_layers": 80,
       "pad_token_id": 0,
       "rms_norm_eps": 1e-05,
       "tie_word_embeddings": false,
       "torch_dtype": "float16",
       "transformers_version": "4.28.0.dev0",
       "use_cache": true,
       "vocab_size": 32000
     }

3. 执行命令。

   ./bin/llm_engine_test 可选参数1 可选参数2 可选参数3