昇腾论坛

点赞

收藏

回复

举报

300IDUO模型量化情况

已解决

新人帖

发表于2024-10-06 00:50:09

0 查看

1. w8a8+qv cache量化。量化后模型大小约为70GB。Mindie拉起失败，AssertionError: self_attn.pack_type: 14 not supported，待排查

2. w4a16量化。量化后模型大小约为60G。Mindie拉起失败，AssertionError: self_attn.pack_type: 14 not supported，待排查

匿名回复

我要发帖子