各位昇腾社区专家、同道好，我们在昇腾 910B + CANN 7.2环境下，对 7B/13B 大模型做INT4 权重 - only 量化以压缩显存、提升推理吞吐，按官方流程完成量化并生成 OM 模型，但出现两个难以解决的核心问题，多次调参均无明显改善，特来求助。

环境与现象

• 芯片：昇腾 910B
• 量化方式：weight-only INT4，per-channel 量化
• 框架：MindSpore + ATC 离线量化
• 问题表现：
  1. 量化后精度严重塌陷，困惑度显著上升，生成语句逻辑混乱、重复、漏字。
  2. INT4 模型推理速度反而比 FP16 慢 10%～30%，AI Core 利用率不升反降。
  3. 部分层量化后出现数值溢出、NaN，导致推理直接异常退出。

已尝试：

• 调整校准数据集大小与采样策略
• 切换 per-token /per-channel 量化
• 调整量化范围、开启 clip 阈值
• 关闭部分层量化（如 attention、layernorm）
• 更换 ATC buffer_optimize 等级均无法同时保证精度与性能。

请教

1. 昇腾 910B 上大模型 INT4 权重量化，哪些层必须保留高精度、哪些层可以安全量化？
2. 精度塌陷的核心根因是什么？如何通过校准策略与量化参数修复？
3. 为什么 INT4 量化后推理性能反而下降？如何让 AI Core 真正吃上低比特算力收益？