昇腾社区首页
中文
注册

main_dataset_convert

接口功能

数据集格式转换,将输入的数据集格式转换成增量学习inclearning数据集格式。

接口引用功能

ockics.entry.main_dataset_convert

接口格式

函数:main_dataset_convert(s3_endpoint=None, s3_ak=None, s3_sk=None, s3_secure=None, s3_certcheck=None)

请求参数

参数

类型

是否必选

说明

取值要求

s3_endpoint

str

可选

组件访问minio存储服务器的endpoint。如果调用时不输入,则默认传入None,内部会自动从环境变量S3_ENDPOINT_URL中获取endpoint。

函数参数,url:port。

s3_ak

str

可选

组件访问minio存储服务器的access key。如果调用时不输入,则默认传入None,内部会自动从环境变量ACCESS_KEY_ID中获取access key。

函数参数,access key字符串。

s3_sk

str

可选

组件访问minio存储服务器的secret key。如果调用时不输入,则默认传入None,内部会自动从环境变量SECRET_ACCESS_KEY中获取secret key。

函数参数,secret key字符串。

s3_secure

bool

可选

访问minio时是否使能https,默认值False。如果调用时不输入,则默认传入None,内部会自动从环境变量ACCESS_SECURE中获取值。开启证书认证时,可以使用环境变量SSL_CERT_FILE指定本地的证书路径。

函数参数:

  • True
  • False

ACCESS_SECURE环境变量使用"True"/"False"字符串代表True/False。

s3_certcheck

bool

可选

预留参数,当前版本暂未使用。

函数参数:

  • True
  • False

--workspace

str

必选

指定了标注文件的在s3的路径,默认会去指定的s3路径的data路径下找annotation.zip文件下载。

命令行输入参数:s3存储路径,如:“s3://test/”

-h/--help

str

可选

查看帮助信息并退出。

命令行输入参数,查看帮助信息并退出。

使用样例

输入COCO数据集:

-- workspace/data/annotation.zip文件
├── images #图片(可选)
│   ├── 1.jpg
│   ├── 2.jpg
│   └── 3.jpg
└── annotations #标注目录
    └──instances_annotations.json #标注文件
  • 需要在annotation.zip文件或者“workspace/data/images/untagged”目录下存在标注图片文件,如果缺少图片文件,数据集格式将转换失败。
  • 解压后的文件大小不超过2G。
  • 压缩包最大文件数量20000。
  • 压缩包内支持的文件格式:.txt、.xml、.jpg、.png、.svg、.jpeg、.json、.bmp、.webp。
  • 压缩包内不能包含软链接,压缩包内文件权限不能包含suid和sgid。

输出样例:

-- workspace/data/annotations/current
├── current 
│   ├── metadata.json # 类别文件
│   ├── dataIndex.txt # 图片文件在s3存储的路径信息
│   └── data.txt # inclearning 标注文件