main_dataprocess_process

接口功能

dataprocess函数入口。dataprocess组件的所有输入数据都是从存储系统中获取，大多都通过s3路径指定。

接口引用路径

ockics.entry.main_dataprocess_process

接口格式

函数：main_dataprocess_process(data_process_para)

输入参数

参数	类型	是否必选	说明	取值要求
data_process_para	ParaDataProcess	必选	dataprocess的所有输入数据。	函数参数，元组类型，具体元素详见ParaDataProcess。

返回值

无

使用样例

import argparse
from collections import namedtuple
ParaDataProcess = namedtuple("ParaDataProcess",
                             ["base_train_model", "work_url", "dataset_fmt", "train_dataset", "eval_dataset",
                              "standalone", "train_config", "eval_config", "atc_config", "output_samples_number",
                              "output_train_model", "output_train_data", "output_train_data_index",
                              "output_eval_data", "output_eval_data_index",
                              "output_train_config", "output_eval_config", "output_atc_config", "s3_endpoint",
                              "s3_ak", "s3_sk", "s3_secure", "s3_certcheck"])


def main_dataprocess(s3_endpoint=None, s3_ak=None, s3_sk=None, s3_secure=None, s3_certcheck=None):
    argss = _parse_args()

    para = ParaDataProcess(argss.base_train_model, argss.work_url, argss.dataset_fmt,
                           argss.train_dataset, argss.eval_dataset, argss.standalone, argss.train_config,
                           argss.eval_config, argss.atc_config, argss.output_samples_number,
                           argss.output_train_model,
                           argss.output_train_data, argss.output_train_data_index,
                           argss.output_eval_data, argss.output_eval_data_index,
                           argss.output_train_config, argss.output_eval_config, argss.output_atc_config,
                           s3_endpoint, s3_ak, s3_sk, s3_secure, s3_certcheck)
    main_dataprocess_process(para)

父主题： dataprocess组件接口