【昇思MindSpore技术公开课】第三节课GPT的课程回顾来啦!
收藏回复举报
【昇思MindSpore技术公开课】第三节课GPT的课程回顾来啦!
发表于2023-05-22 11:10:45
0 查看

上周六(5月9日)我们为大家讲解了GPT-1模型,不知道小伙伴们掌握得怎么样呢?在这里我们奉上GPT课程的内容回顾,帮助大家快速查缺补漏。如果遇到问题,欢迎大家在答疑群或者课程代码仓的issue项中进行提问~

一、

课程回顾

(具体课程回顾详情可扫描下方二维码,进入课程代码仓中的0.Course-Review进行查看)

-       Semi-Supervised Learning

-       Unsupervised Pretraining

  •   模型预训练优化目标

  •   模型结构

-       Supervised Fine-Tuning

  •   模型finetune优化目标

  •   下游任务及对应的输入处理

二、课程实践

课程中我们讲解了如何finetune GPT模型实现分类(classification)任务,大家可以在另三类下游任务中选择一种进行实践,注意不同的下游任务需要对模型进行不同的处理。

image.png

三、

下节课预告

本周六(5月13日)14:00-15:30,将由我们颜值与人气并存的CUQ弟中弟老师为大家带来GPT2课程的讲解,这里悄悄剧透一下课程内容:

GPT2

-        Task Conditioning

-        Zero Shot Learning and Zero Shot Task Transfer

-        使用GPT2训练一个 few shot 任务

四、课程建议和课后答疑

如果大家在运行代码中遇到什么问题,对课程有什么建议,或者希望我们增添什么内容,都可以在昇思MindSpore技术公开课大模型专题的代码仓中提issue进行反馈,或者加入课程讨论群,会有课程讲师在群中进行答疑。

image.png

我要发帖子