问题描述
项目地址：https://gitee.com/mindspore/mindformers/blob/r1.0/research/internlm/internlm.md#%E5%9F%BA%E4%BA%8Egenerate%E6%8E%A8%E7%90%86
下面是我实际部署推理服务的情况
我是基于文档【InternLM-20B --> MindSpore推理 --> 基于Pipeline】，通过fastapi框架启动的restFul接口服务，这是运行的日志。
从上面的日志可以看到推理的参数有
难道目前mindformers推理的参数只能设置这些吗？
点赞
收藏
回复
分享
举报
已解决
问题描述
项目地址：https://gitee.com/mindspore/mindformers/blob/r1.0/research/internlm/internlm.md#%E5%9F%BA%E4%BA%8Egenerate%E6%8E%A8%E7%90%86
下面是我实际部署推理服务的情况
我是基于文档【InternLM-20B --> MindSpore推理 --> 基于Pipeline】，通过fastapi框架启动的restFul接口服务，这是运行的日志。
从上面的日志可以看到推理的参数有
{ 'max_length': 512, 'max_new_tokens': None, 'num_beams': 1, 'do_sample': False, 'use_past': True, 'temperature': 1.0, 'top_k': 0, 'top_p': 1.0, 'repetition_penalty': 1.0, 'encoder_repetition_penalty': 1.0, 'renormalize_logits': False, 'pad_token_id': 2, 'bos_token_id': 1, 'eos_token_id': 2, '_from_model_config': True }难道目前mindformers推理的参数只能设置这些吗？