华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
在运行Chatbot代码仓的模型导出流程中的【2.3对decoder部分模型进行int8量化】时
终端输出如下:
不知道输出是否正确。
以及如果想在A2上部署chatbot,是否必需运行【2.4使用ATC工具将encoder部分模型转换为混合精度的om模型】
我要发帖子
在运行Chatbot代码仓的模型导出流程中的【2.3对decoder部分模型进行int8量化】时
终端输出如下:
不知道输出是否正确。
以及如果想在A2上部署chatbot,是否必需运行【2.4使用ATC工具将encoder部分模型转换为混合精度的om模型】