Qwen3-32B
简介
Qwen3是Qwen系列中最新一代的大型语言模型，提供了密集和混合专家(MoE)模型的全面套件。基于广泛的训练，Qwen3在推理、指令遵循、代理功能和多语言支持方面取得了很大的进展，主要具有以下功能：
- 思维模式（用于复杂的逻辑推理、数学和编码）和非思维模式（用于高效、通用的对话）在单个模型内无缝切换，确保跨各种场景的最佳性能。
- 增强了推理能力在数学、代码生成和常识逻辑推理方面超过了之前的QwQ（思维模式）和Qwen2.5（非思维模式）。
- 人类偏好调整，擅长创意写作、角色扮演、多轮对话和指令跟随，提供更自然、更吸引人、更沉浸式的对话体验。
- 在代理能力方面的专业知识，能够在思考模式和非思考模式下与外部工具精确集成，在基于代理的复杂任务中实现开源模型中的领先性能。
- 支持100多种语言和方言*具有强大多语言教学能力和翻译能力。
权重
权重下载
加载镜像
前往昇腾社区/开发资源下载适配本模型的镜像包mindie:2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64.tar.gz
[object Object]完成加载镜像后，请使用docker images命令确认查找具体镜像名称与标签。
约束条件
- 当前支持TP=4/8推理
- /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json 的权限默认为640, 请不要更改该文件权限。
新建容器
目前提供的MindIE镜像预置了Qwen3-32B模型推理脚本，无需再额外下载魔乐仓库承载的模型适配代码，直接新建容器即可。
执行以下启动命令（参考）： 如果您使用的是root用户镜像（例如从Ascend Hub上取得），并且可以使用特权容器，请使用以下命令启动容器：
[object Object]如果您希望使用自行构建的普通用户镜像，并且规避容器相关权限风险，可以使用以下命令指定用户与设备：
[object Object]注意，以上启动命令仅供参考，请根据需求自行修改再启动容器，尤其需要注意：
--user，如果您的环境中HDK是通过普通用户安装（例如默认的HwHiAiUser，可以通过id HwHiAiUser命令查看该用户组ID），请设置好对应的用户组，例如用户组1001可以使用HDK，则--user mindieuser:1001，镜像中默认使用的是用户组1000。如果您的HDK是由root用户安装，且指定了--install-for-all参数，则无需指定--user参数。设定容器名称
--name与镜像名称，例如800I A2服务器使用mindie:2.0.T17.B010-800I-A2-py3.11-openeuler24.03-lts-aarch64。设定想要使用的卡号
--device。设定权重挂载的路径，
-v /path-to-weights:/path-to-weights:ro，注意，如果使用普通用户镜像，权重路径所属应为镜像内默认的1000用户，且权限可设置为750。可使用以下命令进行修改：[object Object]在普通用户镜像中，注意所有文件均在
/home/mindieuser下，请勿直接挂载/home目录，以免宿主机上存在相同目录，将容器内文件覆盖清除。
进入容器
[object Object]纯模型推理
依赖配置
transformers版本升级至4.51.0。
对话测试
进入atb-models路径, 并打开日志
ATB_SPEED_HOME_PATH默认/usr/local/Ascend/atb-models,以情况而定
[object Object]执行对话测试
[object Object]性能测试
进入ModelTest路径
[object Object]运行测试脚本
[object Object]具体执行batch=1, 输入长度256, 输出长度256用例的2卡并行性能测试命令为：
[object Object]注：ModelTest为大模型的性能和精度提供测试功能。使用文档请参考
${ATB_SPEED_HOME_PATH}/tests/modeltest/README.md
服务化推理
- 打开配置文件
[object Object]- 更改配置文件
[object Object]- 拉起服务化
[object Object]- 新建窗口测试(OpenAI接口)
[object Object]注: 服务化推理的更多信息请参考MindIE Service用户指南
声明
- 本代码仓提到的数据集和模型仅作为示例,这些数据集和模型仅供您用于非商业目的,如您使用这些数据集和模型来完成示例,请您特别注意应遵守对应数据集和模型的License,如您因使用数据集或模型而产生侵权纠纷,华为不承担任何责任。
- 如您在使用本代码仓的过程中,发现任何问题(包括但不限于功能问题、合规问题),请在本代码仓提交issue,我们将及时审视并解答。