ParaDataProcess
ParaDataProcess为元组类型，下表是该元组具有的元素信息:
参数 |
类型 |
是否必选 |
说明 |
取值要求 |
|---|---|---|---|---|
s3_endpoint |
str |
可选 |
组件访问minio存储服务器的endpoint。如果调用时不输入，则默认传入None，内部会自动从环境变量S3_ENDPOINT_URL中获取endpoint。 |
函数参数，url:port。 |
s3_ak |
str |
可选 |
组件访问minio存储服务器的access key。如果调用时不输入，则默认传入None，内部会自动从环境变量ACCESS_KEY_ID中获取access key。 |
函数参数，access key字符串。 |
s3_sk |
str |
可选 |
组件访问minio存储服务器的secret key。如果调用时不输入，则默认传入None，内部会自动从环境变量SECRET_ACCESS_KEY中获取secret key。 |
函数参数，secret key字符串。 |
s3_secure |
bool |
可选 |
访问minio时是否使能https，默认值False。如果调用时不输入，则默认传入None，内部会自动从环境变量ACCESS_SECURE中获取值。开启证书认证时，可以使用环境变量SSL_CERT_FILE指定本地的证书路径。 |
函数参数：
ACCESS_SECURE环境变量使用"True"/"False"字符串代表True/False。 |
s3_certcheck |
bool |
可选 |
预留参数，当前版本暂未使用。 |
函数参数：
|
base_train_model |
str |
必选 |
指定存放了预训练模型的s3对象路径。 |
命令行输入参数，一个存储了训练模型的s3存储路径，如：“s3://inclearning/yolov5/models/base.pt”。 |
work_url |
str |
必选 |
指定组件运行的工作目录，工作目录是一个s3路径。组件运行过程中的中间输入文件会存放在工作目录下，供其他组件或者ics manager使用。 |
命令行输入参数，一个s3存储路径，如：“s3://inclearning/yolov5”。 |
dataset_fmt |
str |
必选 |
指定下面传入的数据集的格式，当前支持COCO格式，本组件支持的COCO数据集格式：数据集目录下存在两个子目录annotations和images，分别存放标注的json文件和平铺存放的jpg文件。 |
“COCO”。 |
train_dataset |
str |
必选 |
指定组件使用的训练数据集的s3存储路径。 |
命令行输入参数，一个s3存储路径，如：“s3://inclearning/yolov5/datasets/train”。 |
eval_dataset |
str |
必选 |
指定组件使用的测评数据集的s3存储路径。 |
命令行输入参数，一个s3存储路径，如：“s3://inclearning/yolov5/datasets/eval”。 |
train_config |
str |
必选 |
指定组件使用的训练配置文件的s3存储路径，配置文件支持yaml和json两种格式。此配置文件将在预处理后原封不动的传递给trainer组件，trainer组件的用户自定义训练脚本可以解析yaml获取用户自定义的配置信息。 |
命令行输入参数，一个s3存储路径，如：“s3://inclearning/yolov5/config/train.yaml”。 |
eval_config |
str |
必选 |
指定组件使用的测评配置文件的s3存储路径，配置文件支持yaml和json两种格式。此配置文件将在预处理后原封不动的传递给eval组件，eval组件的用户自定义测评脚本可以解析yaml获取用户自定义的配置信息。 |
命令行输入参数，一个s3存储路径，如：“s3://inclearning/yolov5/config/eval.yaml”。 |
atc_config |
str |
必选 |
指定组件使用的模型转换配置文件的s3存储路径，配置文件支持yaml和json两种格式。此配置文件将在预处理后原封不动的传递给modelconvert组件，modelconvert组件自动将文件中的key作为atc的命令行参数key，value作为atc的命令行参数值，用于执行atc命令。 |
命令行输入参数，一个s3存储路径，如：“s3://inclearning/yolov5/config/atc.yaml”。 |
output_sample_number |
str |
必选 |
本地的一个文件路径，dataprocess预处理后识别的难例数量的值以文本的形式写入此文件。 |
命令行输入参数，一个本地存储路径，如：“./output/data”。 |
output_train_model |
str |
必选 |
本地的一个文件夹路径，dataprocess预处理后的预训练模型文件将存放到此目录下面，供后面的trainer组件使用。 |
命令行输入参数，一个本地存储路径，如：“./output/models/train/”。 |
output_train_data |
str |
必选 |
本地的一个文件夹路径，dataprocess预处理后的训练数据集文件将存放到此目录下面，供后面的trainer组件使用。 |
命令行输入参数，一个本地存储路径，如：“./output/datasets/train/”。 |
output_train_data_index |
str |
必选 |
本地的一个文件夹路径，dataprocess预处理后的数据集图片列表文件将存放到此目录下面，供后面的trainer组件使用，将会有一个dataIndex.txt的文件存放到此目录下，dataIndex.txt中每行为一个jpg文件的s3路径，trainer组件可根据dataIndex.txt的文件下载数据集的图片。 |
命令行输入参数，一个本地存储路径，如：“./output/datasets/trainindex/”。 |
output_eval_data |
str |
必选 |
本地的一个文件夹路径，dataprocess预处理后的测评数据集文件将存放到此目录下面，供后面的eval组件使用。 |
命令行输入参数，一个本地存储路径，如：“./output/datasets/eval/”。 |
output_eval_data_index |
str |
必选 |
本地的一个文件夹路径，dataprocess预处理后的测评数据集图片列表文件将存放到此目录下面，供后面的trainer组件使用，将会有一个dataIndex.txt的文件存放到此目录下，dataIndex.txt中每行为一个jpg文件的s3路径，eval组件可根据dataIndex.txt的文件下载数据集的图片。 |
命令行输入参数，一个本地存储路径，如：“./output/datasets/evalindex/”。 |
output_train_config |
str |
必选 |
指定下载的训练配置文件存放在本地的目录路径。 |
命令行输入参数，一个本地存储路径，如：“./output/config/train/”，本路径和eval、atc配置文件的路径不能相同。 |
output_eval_config |
str |
必选 |
指定下载的测评配置文件存放在本地的目录路径。 |
命令行输入参数，一个本地存储路径，如：“./output/config/eval/”，本路径和train、atc配置文件的路径不能相同。 |
output_atc_config |
str |
必选 |
指定下载的模型转换配置文件存放在本地的目录路径。 |
命令行输入参数，一个本地存储路径，如：“./output/config/atc/”，本路径和train、eval配置文件的路径不能相同。 |
standalone |
bool |
可选 |
调试使用，输入此参数，除了下载输入数据，中途可不访问s3服务，方便调试。 |
命令行输入参数：
|