对模型做ppl类型的评估, 昇腾上能支持不?
收藏回复举报
对模型做ppl类型的评估, 昇腾上能支持不?
t('forum.solved') 已解决
发表于2025-04-15 09:33:49
0 查看

【问题描述】

模型评估模块需要对模型做ppl类型的评估,依赖推理框架输出“输入prompt的prompt_logprobs”, 需要确认昇腾推理产品是否支持这个特性。

【机型】

Atlas 800T A2

我要发帖子