昇腾社区首页
中文
注册

ParaTrain

ParaTrain为元组类型,下表是该元组具有的元素信息:

参数

类型

是否必选

说明

取值要求

s3_endpoint

str

可选

组件访问minio存储服务器的endpoint。如果调用时不输入,则默认传入None,内部会自动从环境变量S3_ENDPOINT_URL中获取endpoint。

函数参数,url:port。

s3_ak

str

可选

组件访问minio存储服务器的access key。如果调用时不输入,则默认传入None,内部会自动从环境变量ACCESS_KEY_ID中获取access key。

函数参数,access key字符串。

s3_sk

str

可选

组件访问minio存储服务器的secret key。如果调用时不输入,则默认传入None,内部会自动从环境变量SECRET_ACCESS_KEY中获取secret key。

函数参数,secret key字符串。

s3_secure

bool

可选

访问minio时是否使能https,默认值False。如果调用时不输入,则默认传入None,内部会自动从环境变量ACCESS_SECURE中获取值。开启证书认证时,可以使用环境变量SSL_CERT_FILE指定本地的证书路径。

函数参数:

  • True
  • False

ACCESS_SECURE环境变量使用"True"/"False"字符串代表True/False。

s3_certcheck

bool

可选

预留参数,当前版本暂未使用。

函数参数:

  • True
  • False

base_model

str

必选

指定存放了预训练模型的本地路径,在增量学习整个流程中,此参数是dataprocess预处理后放在本地,传给trainer组件。

命令行输入参数,一个存储了训练模型的本地存储路径,如:“./input/models/base.pt”

work_url

str

必选

指定组件运行的工作目录,工作目录是一个s3路径。组件运行过程中的中间输入文件会存放在工作目录下,供其他组件或者ics-manager使用。

命令行输入参数,一个s3存储路径,如:“s3://inclearning/yolov5”

dataset_fmt

str

必选

指定提供给用户训练脚本的数据集的格式,当前支持COCO格式,本组件支持的COCO数据集格式:数据集目录下存在两个子目录annotations和images,分别存放标注的json文件和平铺存放的jpg文件。

“COCO”。

train_datasets

str

必选

指定组件使用的训练数据集的本地存储路径,此输入数据集是dataprocess组件预处理后的数据集标注,数据集格式为增量学习自定义格式,trainer组件会自动将内部格式转换成用户通过dataset-fmt参数指定的格式,传给训练脚本。

命令行输入参数,一个本地存储路径,如:“./input/datasets/train”

train_datasets_images

str

必选

指定训练数据集的图片目录的本地存储路径。

命令行输入参数,一个本地存储路径,如:“./input/datasets/trainimage”

eval_datasets

str

必选

指定组件使用的测评数据集的本地存储路径,此输入数据集是dataprocess组件预处理后的数据集,数据集格式为增量学习自定义格式,trainer组件会自动将内部格式转换成用户通过dataset-fmt参数指定的格式,传给训练脚本。

命令行输入参数,一个本地存储路径,如:“./input/datasets/eval”

eval_datasets_images

str

必选

指定测评数据集的图片目录的本地存储路径。

命令行输入参数,一个本地存储路径,如:“./input/datasets/evalimage”

train_config

str

必选

指定组件使用的训练配置文件的本地存储路径目录(目录中存放一个任意名称的yaml或者json配置文件)。trainer组件会将此配置文件传递给用户注册的自定义训练脚本。

命令行输入参数,一个本地存储路径,如:“./input/trainconfig/”

output_train_model_artifact

str

必选

本地的一个文件夹路径,trainer组件训练后的训练模型文件将存放到此目录下面,供后面的组件使用。

命令行输入参数,一个本地存储路径,如“./output/models/train/”

output_infer_model_artifact

str

必选

本地的一个文件夹路径,trainer组件训练后的ONNX(Open Neural Network Exchange)文件将存放到此目录下面,供后面的组件使用。

命令行输入参数,一个本地存储路径,如:“./output/datasets/infer/”

standalone

bool

可选

调试使用,输入此参数,除了下载输入数据,中途可不访问s3服务,方便调试。

命令行输入参数:

  • True
  • False