Deepseek-R1-Distill-Qwen-1.5B介绍以及开发板环境准备工作与云端开发环境体验
收藏回复举报
Deepseek-R1-Distill-Qwen-1.5B介绍以及开发板环境准备工作与云端开发环境体验
发表于2025-07-29 12:34:57
0 查看

一、Deepseek-R1-Distill-Qwen-1.5B介绍

其实对比与传统的Deepseek-R1或者Deepseek V3来看,对于初学者而言,这个模型叫蒸馏千问模型,顾名思义就是蒸馏出来比较高质量的体量小的一个具备基本算力的模型。以下是他们的详细对比:

对比参数Deepseek R1与Deepseek V3Deepseek_R1-Distill-Qwen-1.5B
综合能力通过了严密且专业的训练,综合能力很强,尤其在较大体量的数据集或者多种数据并行的情况有优秀的分析与运算性能,但所需要的硬件设施能力极高。体量小、空间轻,虽然其基本性能仍然基于强大的Deepseek模型,但是其推理能力会明显受限,更加适合初学者或PC端非专业硬件用户进行调试或适配。
硬件要求要求至少8*141GB显存H200GPU普通个人PC即可使用,选取6个模型中的80万条高质量的数据进行预训练,且不需要RL阶段
适用人群专业范围内的大规模部署应用普通开发板模型开发者,更小更易部署,数据更容易处理,也更容易获得学习。
性质开源大模型(半专业)蒸馏千问开发板模型

总的来说,过程就是将大模型作为母,小模型作为子,将大模型优质的数据筛选迁移到小模型中训练学习,在算力有限的情况下,通过更加轻小的体量和更容易部署的优势,实现基本底层原理的跑通. 这里面,包含了SFT蒸馏出的千问模型以及用例的参考条数

下面我们开始环境的准备工作。为了方便区分开发板环境和云端环境,我依旧采用分表格的形式

二、环境Checklist与准备工作

  1. 操作步骤表

    步骤序号云端环境开发板环境
    登录昇思大模型平台,进入个人中心系统烧录(windows系统)——将Micro SD读卡器插入电脑,读取到TF卡;之后设计一个swap虚拟空间
    选择“我的开发环境”并进入云平台下载Ubuntu镜像,选择桌面版本下载(20T,详见操作手册)
    选择Jupyter在线编程,使用【Ascend】开发环境,进入【昇腾开发板】文件夹内寻找对应训练环境下载balenaEtcher制卡工具,选择下载Portable版本并进入
    选择对应的训练环境,尝试运行代码选择文件夹进行烧录(建议用英文命名)
  2. 注意事项 ①开发板应该是OrangePi AIPro 20T 24G版本,与8-12T版本有区别,请注意甄别 ②显存也需要注意,本次使用的是24G版本

我要发帖子