支持用户使用自定义的数据集进行性能验证。
./bin/llm_engine_test 可选参数1 可选参数2
参数 |
说明 |
|---|---|
可选参数1 |
自定义数据集名称,若没有输入此参数则选用数据集默认名称:token_input_gsm.csv |
可选参数2 |
是否记录output id。若传一个大于0的参数,则output id会被写进llm_engine_test同级目录下的token_output.csv。 设置可选参数2时,必须要设置可选参数1。 |
以“/data/atb_testdata/weights/llama1-65b-safetensors”目录下的config.json为例,即token id不能超过3200。
1 {
2 "architectures": [
3 "LlamaForCausalLM"
4 ],
5 "bos_token_id": 1,
6 "eos_token_id": 2,
7 "hidden_act": "silu",
8 "hidden_size": 8192,
9 "initializer_range": 0.02,
10 "intermediate_size": 22016,
11 "max_sequence_length": 2048,
12 "model_type": "llama",
13 "num_attention_heads": 64,
14 "num_hidden_layers": 80,
15 "pad_token_id": 0,
16 "rms_norm_eps": 1e-05,
17 "tie_word_embeddings": false,
18 "torch_dtype": "float16",
19 "transformers_version": "4.28.0.dev0",
20 "use_cache": true,
21 "vocab_size": 32000
22 }
./bin/llm_engine_test 可选参数1 可选参数2