---
title: CV/NLP预训练-昇腾社区
description: 预训练是大模型构建的基础环节，以语言建模为基本任务，大量的训练数据是关键。本课程将介绍预训练的流程，包括确定模型结构、确定词表和分词器、数据准备、训练参数设置、根据损失和评测结果调整数据和训练参数等环节。
keywords: CV,NLP,预训练,昇腾社区,School,Magnetic,Space,了解详情
url: https://www.hiascend.com/edu/growth/details/42c727ca7a464bff9533d561e7cb5e4c
section: (其他)
---

# CV/NLP预训练-昇腾社区

URL: https://www.hiascend.com/edu/growth/details/42c727ca7a464bff9533d561e7cb5e4c
描述: 预训练是大模型构建的基础环节，以语言建模为基本任务，大量的训练数据是关键。本课程将介绍预训练的流程，包括确定模型结构、确定词表和分词器、数据准备、训练参数设置、根据损失和评测结果调整数据和训练参数等环节。
关键词: CV,NLP,预训练,昇腾社区,School,Magnetic,Space,了解详情

开发者学习路径 [了解详情](https://www.hiascend.com/edu/growth)

CV/NLP预训练

CV/NLP预训练

3

课程

3小时

533

预训练是大模型构建的基础环节，以语言建模为基本任务，大量的训练数据是关键。本课程将介绍预训练的流程，包括模型结构、词表和分词器、数据准备、训练参数设置、根据损失和评测结果调整数据和训练参数等环节。

登录查看学习进度

开始学习

大模型预训练-初级

1

课程

大模型预训练-初级

大模型预训练-初级

课程

大模型预训练-中级

大模型预训练-中级

课程

大模型预训练-高级

大模型预训练-高级

完成路径

额外的成长积分

50积分

预备知识

预训练语言模型 [了解详情](https://www.hiascend.com/developer/courses/detail/2203141624362941198)

知识点

预训练是大模型构建的基础环节，以语言建模为基本任务，大量的训练数据是关键。本课程将介绍预训练的流程，包括模型结构、词表和分词器、数据准备、训练参数设置、根据损失和评测结果调整数据和训练参数等环节。

帮助与反馈

昇腾论坛 [了解详情](https://www.hiascend.com/forum/)在线提单反馈 [了解详情](https://www.hiascend.com/feedback/add)

帮助与反馈

昇腾论坛 [了解详情](https://www.hiascend.com/forum/)在线提单反馈 [了解详情](https://www.hiascend.com/feedback/add)

发布学习笔记，解答同学疑问，更有丰富奖励等你来参与

查看详情 [了解详情](https://www.hiascend.com/developer/School-Magnetic-Space)