一、Deepseek-R1-Distill-Qwen-1.5B介绍
其实对比与传统的Deepseek-R1或者Deepseek V3来看,对于初学者而言,这个模型叫蒸馏千问模型,顾名思义就是蒸馏出来比较高质量的体量小的一个具备基本算力的模型。以下是他们的详细对比:
总的来说,过程就是将大模型作为母,小模型作为子,将大模型优质的数据筛选迁移到小模型中训练学习,在算力有限的情况下,通过更加轻小的体量和更容易部署的优势,实现基本底层原理的跑通. 这里面,包含了SFT蒸馏出的千问模型以及用例的参考条数
下面我们开始环境的准备工作。为了方便区分开发板环境和云端环境,我依旧采用分表格的形式
二、环境Checklist与准备工作
操作步骤表
注意事项 ①开发板应该是OrangePi AIPro 20T 24G版本,与8-12T版本有区别,请注意甄别 ②显存也需要注意,本次使用的是24G版本
一、Deepseek-R1-Distill-Qwen-1.5B介绍
其实对比与传统的Deepseek-R1或者Deepseek V3来看,对于初学者而言,这个模型叫蒸馏千问模型,顾名思义就是蒸馏出来比较高质量的体量小的一个具备基本算力的模型。以下是他们的详细对比:
总的来说,过程就是将大模型作为母,小模型作为子,将大模型优质的数据筛选迁移到小模型中训练学习,在算力有限的情况下,通过更加轻小的体量和更容易部署的优势,实现基本底层原理的跑通. 这里面,包含了SFT蒸馏出的千问模型以及用例的参考条数
下面我们开始环境的准备工作。为了方便区分开发板环境和云端环境,我依旧采用分表格的形式
二、环境Checklist与准备工作
操作步骤表
注意事项 ①开发板应该是OrangePi AIPro 20T 24G版本,与8-12T版本有区别,请注意甄别 ②显存也需要注意,本次使用的是24G版本