模型微调启动脚本适配样例(argparse)
import argparse
import logging
# 模拟模型源码逻辑
def model_finetune(args):
logging.info('%s', args.data_path) # 模型代码中可接收到对应参数
logging.info('%s', args.output_path)
logging.info('%s', args.advanced_config)
logging.info('%s', args.learning_rate)
if __name__ == '__main__':
parser = argparse.ArgumentParser()
# 必选适配项
parser.add_argument('-dp', '--data_path', type=str, required=True) # 数据集路径
parser.add_argument('-op', '--output_path', type=str, required=True) # 输出路径
# 可选适配项
parser.add_argument('-pm', '--pretrained_model_path', type=str, required=False) # 预训练模型路径
parser.add_argument('-ac', '--advanced_config', type=str, required=False) # 模型配置文件路径, 仅当模型需要网络冻结等高阶能力场景时需要
# 模型配置文件中包含的params配置项
parser.add_argument('-lr', '--learning_rate', type=float, required=False)
parser.add_argument('-bs', '--batch_size', type=int, required=False)
# 模型脚本接收的参数集合
args = parser.parse_args()
model_finetune(args)
对应模型配置文件的内容:
params: learning_rate: 1e-6 batch_size: 32
父主题: 模型适配样例