大语言模型列表

以下模型需配合ATB Models模型库使用，ATB Models的安装方式请参见《MindIE安装指南》中“安装开发环境 > 安装ATB Models”章节。

MindIE支持的大语言模型列表如表1所示。

表1 模型列表
模型名称	多卡能力	数据类型	量化	服务化	长序列	模型权重链接
Baichuan2-7B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：支持	不支持	链接
Baichuan2-13B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持 W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：支持	不支持	链接
Bloom-7B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Bloom-176B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持 W8A16量化：仅Atlas 800I A2 推理产品支持	不支持	不支持	链接
ChatGLM3-6B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
CodeGeeX2-6B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：支持	不支持	链接
CodeLLaMA-34B	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品（32G）支持	W8A8量化：仅Atlas 800I A2 推理产品（32G）支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	不支持	链接
CodeShell-7B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
DeepSeek-V2-Lite-16B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A16量化：仅Atlas 800I A2 推理产品支持	不支持	不支持	链接
DeepSeek-V2-236B	Atlas 800I A2 推理产品（64G）：支持的卡数为16。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品（64G）支持 BF16：仅Atlas 800I A2 推理产品（64G）支持	W8A16量化：仅Atlas 800I A2 推理产品（64G）支持	不支持	不支持	链接
Gemma-7B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品（32G）支持	W8A8量化：仅Atlas 800I A2 推理产品（32G）支持	不支持	不支持	链接
GLM4-9B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1或2。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2 推理产品（64G）支持的长度最长为1M	链接
GPT-NEOX-20B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	不支持	不支持	不支持	链接
InternLM-20B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
InternLM2-7B	Atlas 800I A2 推理产品（32G）：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
InternLM2-20B	Atlas 800I A2 推理产品（32G）：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2 推理产品（32G）支持的长度最长为200K	链接
LLaMa-7B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
LLaMa-13B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
LLaMa-33B	Atlas 800I A2 推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：仅Atlas 800I A2 推理产品支持 BF16：不支持	稀疏量化：仅Atlas 300I Duo 推理卡支持	不支持	不支持	链接
LLaMa-65B	Atlas 800I A2 推理产品（32G）：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品（32G）支持 BF16：仅Atlas 800I A2 推理产品（32G）支持	W8A16量化：仅Atlas 800I A2 推理产品（32G）支持	MindIE Service：支持 TGI：支持	不支持	链接
LLaMa2-7B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持	链接
LLaMa2-13B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：支持	不支持	链接
LLaMa2-70B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持 W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：支持	不支持	链接
LLaMA3-8B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品（32G）支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
LLaMA3-70B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	W8A16量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
LLaMA3.1-8B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持	MindIE Service：支持 TGI：不支持	不支持	链接
LLaMA3.1-70B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：支持的卡数为2或4。	FP16：仅Atlas 800I A2 推理产品支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持稀疏量化：仅Atlas 300I Duo 推理卡支持 kv cache量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2 推理产品（64G）支持的长度最长为128K	链接
Mixtral-8x7B-Instruct-V0.1	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：支持的卡数为4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Mixtral-8x22B-Instruct-V0.1	Atlas 800I A2 推理产品（64G）：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品（64G）支持 BF16：仅Atlas 800I A2 推理产品（64G）支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen-7B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen-14B	Atlas 800I A2 推理产品：支持的卡数为2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：仅Atlas 800I A2 推理产品（64G）支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen-72B	Atlas 800I A2 推理产品（32G）：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品（32G）支持 BF16：不支持	W8A16量化：仅Atlas 800I A2 推理产品（32G）支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen1.5-0.5B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Qwen1.5-1.8B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Qwen1.5-4B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2或4。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Qwen2-57B-A14B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2-7B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2-72B	Atlas 800I A2 推理产品：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：不支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持 W8A16量化：仅Atlas 800I A2 推理产品支持 KV cache量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	Atlas 800I A2 推理产品（64G）支持的长度最长为128K	链接
Qwen2.5-7B	Atlas 800I A2 推理产品：支持的卡数为1或2。 Atlas 300I Duo 推理卡：支持的卡数为1。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2.5-14B	Atlas 800I A2 推理产品：支持的卡数为2。 Atlas 300I Duo 推理卡：1。	FP16：仅Atlas 300I Duo 推理卡支持 BF16：仅Atlas 800I A2 推理产品支持	不支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2.5-32B	Atlas 800I A2 推理产品：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
Qwen2.5-72B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：不支持。	FP16：不支持 BF16：仅Atlas 800I A2 推理产品支持	W8A8量化：仅Atlas 800I A2 推理产品支持	MindIE Service：支持 TGI：不支持	不支持	链接
StarCoder-15.5B	Atlas 800I A2 推理产品：支持的卡数为8。 Atlas 300I Duo 推理卡：支持的卡数为2。	FP16：支持 BF16：不支持	W8A8量化：支持	MindIE Service：支持 TGI：支持	不支持	链接
StarCoder2-15B	Atlas 800I A2 推理产品（32G）：支持的卡数为4。 Atlas 300I Duo 推理卡：不支持。	FP16：支持 BF16：不支持	W8A8量化：仅Atlas 800I A2 推理产品（32G）支持	MindIE Service：支持 TGI：不支持	不支持	链接
Vicuna-7B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Vicuna-13B	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：不支持	不支持	不支持	不支持	链接
Yi-6B-200K	Atlas 800I A2 推理产品（32G）：支持的卡数为1、2、4或8。 Atlas 300I Duo 推理卡：支持的卡数为1、2或4。	FP16：支持 BF16：仅Atlas 800I A2 推理产品（32G）支持	不支持	不支持	不支持	链接
Yi-34B-200K	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品（32G）支持 BF16：仅Atlas 800I A2 推理产品（32G）支持	不支持	不支持	Atlas 800I A2 推理产品支持的长度最长为200K	链接
Ziya-Coding-34B	Atlas 800I A2 推理产品（32G）：支持的卡数为4或8。 Atlas 300I Duo 推理卡：不支持。	FP16：仅Atlas 800I A2 推理产品（32G）支持 BF16：不支持	不支持	不支持	不支持	链接

父主题： MindIE支持模型列表