华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
昇腾社区首页
开发者
主页
开发
文档
活动
学习
论坛
博客
开发者计划
更多
0
/100
下载
支持
积分兑换
NEW
开发者认证
推理开发者认证(工作级)
推理开发者认证(工作级)
适合人群:具有推理开发经验的、计划从事推理开发工作的个人开发者
本认证涵盖:客观题综合考察考生对昇腾大模型推理架构、关键特性、推理部署、推理开发和调试调优方法与实现的掌握。机试题考察考生对推理版本配套检查及升级、权重文件正确性校验、模型推理服务部署及精度验证,以及模型推理性能调优的实操能力。
推荐课程
vLLM-ascend推理部署与调优
本课程主要介绍vLLM + vLLM-ascend整体架构、关键技术、vLLM-ascend推理部署流程、推理精度和性能测试方法以及模型迁移适配方式。
基于vLLM-ascend的profiling采集及推理profiling性能分析
本课程系统介绍基于vLLM-ascend框架的Profiling数据采集与性能分析方法,帮助学习者掌握大模型推理过程中的性能瓶颈定位和优化技巧,提升深度学习应用开发与调优能力。
基于MindIE Motor部署vLLM大EP推理服务
本课程主要介绍如何在昇腾平台上完成大规模推理的集群部署、调度和推理服务。
推荐案例
AISBench 评测工具
昇腾官方性能 / 精度评测工具
ModelScope 模型库
模型开源平台。搜索 "Qwen3-8B" 或 "Qwen3-30B",进入模型详情页,可以查看模型介绍、配置文件、权重文件列表及每个文件的 sha256 哈希值。
vLLM-Ascend 入门指南
vLLM 昇腾版的官方入门文档,可了解怎么安装依赖、怎么用一行命令启动推理服务、服务启动后怎么调用。
vLLM-Ascend 用户指南
vLLM 昇腾版的参数手册,查各种启动参数的含义和用法。
vLLM-Ascend 中文常见问题
vLLM 昇腾版的中文 FAQ,遇到问题先在这里搜。
vLLM推理开发用户旅程
介绍vLLM推理开发端对端的用户旅程,涵盖学习了解、环境准备、模型转换、迁移适配、特性适配、服务化调度、推理测评、性能调优、精度调试和问题定位各阶段学习。
我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。
查看详情