main_dataset_convert
接口功能
数据集格式转换,将输入的数据集格式转换成增量学习inclearning数据集格式。
接口引用功能
ockics.entry.main_dataset_convert
接口格式
函数:main_dataset_convert(s3_endpoint=None, s3_ak=None, s3_sk=None, s3_secure=None, s3_certcheck=None)
请求参数
参数 |
类型 |
是否必选 |
说明 |
取值要求 |
---|---|---|---|---|
s3_endpoint |
str |
可选 |
组件访问minio存储服务器的endpoint。如果调用时不输入,则默认传入None,内部会自动从环境变量S3_ENDPOINT_URL中获取endpoint。 |
函数参数,url:port。 |
s3_ak |
str |
可选 |
组件访问minio存储服务器的access key。如果调用时不输入,则默认传入None,内部会自动从环境变量ACCESS_KEY_ID中获取access key。 |
函数参数,access key字符串。 |
s3_sk |
str |
可选 |
组件访问minio存储服务器的secret key。如果调用时不输入,则默认传入None,内部会自动从环境变量SECRET_ACCESS_KEY中获取secret key。 |
函数参数,secret key字符串。 |
s3_secure |
bool |
可选 |
访问minio时是否使能https,默认值False。如果调用时不输入,则默认传入None,内部会自动从环境变量ACCESS_SECURE中获取值。开启证书认证时,可以使用环境变量SSL_CERT_FILE指定本地的证书路径。 |
函数参数:
ACCESS_SECURE环境变量使用"True"/"False"字符串代表True/False。 |
s3_certcheck |
bool |
可选 |
预留参数,当前版本暂未使用。 |
函数参数:
|
--workspace |
str |
必选 |
指定了标注文件的在s3的路径,默认会去指定的s3路径的data路径下找annotation.zip文件下载。 |
命令行输入参数:s3存储路径,如:“s3://test/”。 |
-h/--help |
str |
可选 |
查看帮助信息并退出。 |
命令行输入参数,查看帮助信息并退出。 |
使用样例
输入COCO数据集:
-- workspace/data/annotation.zip文件 ├── images #图片(可选) │ ├── 1.jpg │ ├── 2.jpg │ └── 3.jpg └── annotations #标注目录 └──instances_annotations.json #标注文件

- 需要在annotation.zip文件或者“workspace/data/images/untagged”目录下存在标注图片文件,如果缺少图片文件,数据集格式将转换失败。
- 解压后的文件大小不超过2G。
- 压缩包最大文件数量20000。
- 压缩包内支持的文件格式:.txt、.xml、.jpg、.png、.svg、.jpeg、.json、.bmp、.webp。
- 压缩包内不能包含软链接,压缩包内文件权限不能包含suid和sgid。
输出样例:
-- workspace/data/annotations/current ├── current │ ├── metadata.json # 类别文件 │ ├── dataIndex.txt # 图片文件在s3存储的路径信息 │ └── data.txt # inclearning 标注文件