预训练是大模型构建的基础环节，以语言建模为基本任务，大量的训练数据是关键。本课程将介绍预训练的流程，包括确定模型结构、确定词表和分词器、数据准备、训练参数设置、根据损失和评测结果调整数据和训练参数等环节。