不知道Chatbot代码仓中的模型导出流程是否运行正确
收藏回复举报
不知道Chatbot代码仓中的模型导出流程是否运行正确
t('forum.solved') 已解决
发表于2023-06-19 21:08:55
0 查看

在运行Chatbot代码仓的模型导出流程中的【2.3对decoder部分模型进行int8量化】时

终端输出如下:

cke_2830.png

不知道输出是否正确。

以及如果想在A2上部署chatbot,是否必需运行【2.4使用ATC工具将encoder部分模型转换为混合精度的om模型】

我要发帖子