华为计算微信公众号
昇腾AI开发者公众号
华为计算微博
华为计算今日头条
【问题描述】
模型评估模块需要对模型做ppl类型的评估,依赖推理框架输出“输入prompt的prompt_logprobs”, 需要确认昇腾推理产品是否支持这个特性。
【机型】
Atlas 800T A2
我要发帖子
【问题描述】
模型评估模块需要对模型做ppl类型的评估,依赖推理框架输出“输入prompt的prompt_logprobs”, 需要确认昇腾推理产品是否支持这个特性。
【机型】
Atlas 800T A2