ModelSlim 大模型量化后如何推理
收藏回复举报
ModelSlim 大模型量化后如何推理
t('forum.solved') 已解决
发表于2024-06-11 16:43:24
0 查看

hi 如题,参照文档做量化和稀疏量化后如何做模型推理,麻烦提供完整的说明或推理demo!

https://www.hiascend.com/document/detail/zh/CANNCommunityEdition/80RC2alpha002/devaids/auxiliarydevtool/modelslim_0004.html#ZH-CN_TOPIC_0000001924877685__table3850959115915

我要发帖子