llm_engine_test

命令功能

支持用户使用自定义的数据集进行性能验证。

命令格式

./bin/llm_engine_test 可选参数1 可选参数2

参数说明

操作步骤

1. 配置conf目录下的config.json，请参见《MindIE安装指南》中的“附录 > 配置MindIE Server”章节中的步骤4。
2. 提供测试数据集，将数据集文件上传至llm_engine_test所在目录。
   用户自定义数据集需满足以下格式要求：

   • 每一行表示一条数据，均以1开头，每个token id之间以逗号相隔（每行最后一个token id后不加逗号）。
   • token id取值限制以词表为准，即配置项“modelWeightPath”下面的config.json，其中“vocab_size”字段的值。

     以“/data/atb_testdata/weights/llama1-65b-safetensors”目录下的config.json为例，即token id不能超过3200。

       1 {
       2   "architectures": [
       3     "LlamaForCausalLM"
       4   ],
       5   "bos_token_id": 1,
       6   "eos_token_id": 2,
       7   "hidden_act": "silu",
       8   "hidden_size": 8192,
       9   "initializer_range": 0.02,
      10   "intermediate_size": 22016,
      11   "max_sequence_length": 2048,
      12   "model_type": "llama",
      13   "num_attention_heads": 64,
      14   "num_hidden_layers": 80,
      15   "pad_token_id": 0,
      16   "rms_norm_eps": 1e-05,
      17   "tie_word_embeddings": false,
      18   "torch_dtype": "float16",
      19   "transformers_version": "4.28.0.dev0",
      20   "use_cache": true,
      21   "vocab_size": 32000
      22 }

3. 执行命令。

   ./bin/llm_engine_test 可选参数1 可选参数2