昇腾社区首页
中文
注册

简介

微调工具包作为大模型套件的基础工具,可以帮助用户在本地快速启动微调、评估、推理等任务。通过封装用户的大模型下游任务启动脚本,工具包提供命令行(CLI)与Python SDK两种方式简单快捷的启动任务。

软件架构

图1所示,微调工具包主要由四个模块组成:

  • 接口功能模块:实现微调、评估、推理接口,支持命令行(CLI)与Python SDK两种调用方式。
  • 参数校验模块:实现接口参数校验、配置参数校验。
  • 基础工具模块:实现参数定义、任务流程、日志、工具类。
  • 配置示例模块:提供自定义模型参数、冻结网络的配置样例说明。
图1 软件架构