大模型压缩调优工具

概述

大模型压缩调优工具通过对紫东.太初大模型下游任务的启动进行优化，简化了下游任务启动时的配置文件，同时还支持了下游任务运行过程中的冻结策略配置，方便用户自定义运行不同配置的下游任务。

执行压缩调优任务

  1. 执行以下命令使环境变量生效。

    source {CANN包安装路径}/ascend-toolkit/set_env.sh

  2. 启动微调任务。

    mxOps {task type} -b AI框架 -m 模型名称 -d 指定设备 -c 配置文件路径 -op 模型输出路径 -dp 数据集路径 -pm 预训练模型路径 -ce 证书字符串 -s

参数说明

表1 参数说明

参数

说明

是否必选

{task type}

任务类型，目前支持剪枝和量化任务。参数取值分别对应为prune和clibration。

是

–h | --help

显示帮助信息。

否

-b | --backend

AI框架类型。取值如下。

  • p/pytorch：PyTorch框架
  • t/tensorflow：TensorFlow框架
  • m/mindspore：MindSpore框架

否

-d | --device_type

模型微调任务在指定设备上运行。取值如下。

  • NPU/npu：在NPU上运行调优任务。
  • GPU/gpu：在GPU上运行调优任务。

若不指定该参数，默认在GPU上启动调优任务。

否

-r | --resume

恢复已中断的训练任务。与-t | --task_id配合使用，指定需要恢复的任务id。

  • 对于恢复nas搜索阶段的任务，当前仅支持随机搜索的采样方式，且pipe_step字段的type值配置为CustomSearchPipeStep。
  • 对于微调任务，pipe_step字段的type值配置为TrainPipeStep即可。

否

-t | --task_id

恢复已中断的训练任务时，需要传入已中断任务的task id。

否

-c | --model_config

配置文件.yml的路径。

对大模型紫东.太初，用户可参考中{CANN包安装路径}/ascend-toolkit/latest/tools/ascend_automl/examples/mindspore/finetune/mm/目录下对应下游任务文件下的opt__end2end_{downstream_task_name}_ms_finetune.yml配置文件指定预训练权重、模型本身的json配置文件等内容。

是

-op | --output_path

模型输出路径。默认为当前文件夹下的tasks目录。

否

-m | --model_name

输入模型。目前支持紫东.太初大模型，取值为“taichu”。

是

-dp | --data_path

数据集路径。该参数指定yml文件中所有pipe_step的数据集路径。

否

-pm | --pretrained_model_file

预训练模型文件路径。该参数指定yml文件中所有pipe_step的预训练模型文件路径。

否

-ce | --cert

证书字符串。

否

-s | --security

启用安全模式。

否
父主题： 大模型压缩调优