简介
微调工具包作为大模型套件的基础工具,可以帮助用户在本地快速启动微调、评估、推理等任务。通过封装用户的大模型下游任务启动脚本,工具包提供命令行(CLI)与Python SDK两种方式简单快捷的启动任务。
软件架构
如图1所示,微调工具包主要由四个模块组成:
- 接口功能模块:实现微调、评估、推理接口,支持命令行(CLI)与Python SDK两种调用方式。
- 参数校验模块:实现接口参数校验、配置参数校验。
- 基础工具模块:实现参数定义、任务流程、日志、工具类。
- 配置示例模块:提供自定义模型参数、冻结网络的配置样例说明。