mindIE 设置system prompt以及和ollama的一些参数对应问题
收藏回复举报
mindIE 设置system prompt以及和ollama的一些参数对应问题
t('forum.solved') 已解决
发表于2025-08-17 22:04:53
0 查看

我们原来用ollama部署的模型,通过modelfile将system prompt和参数都预先设置好,这样客户端调用chat接口的时候,就不需要手工输入这些参数。现在准备移植到mindie遇到些问题,想请各位大佬看看:

1)system prompt可以通过请求体的message来设置,这个ok。但是是否可以通过配置的方法预先设置好呢?以后就不需要每次写了。

1)从mindie的文档看,有部分参数如:num_ctx可以对应服务端的maxSeqLen, num_predict可以对应请求端的max_tokens,其他的参数如mirostat_tau,num_keep,好像就找不到对应的了。请问这些参数是否可以设置呢(mirostat_tau,repeat_last_n,num_keep)。

2)num_predict我理解可以对应请求端的max_tokens,但是在服务端mindie还有一个参数maxInputTokenLength,这个参数如何理解了?

我要发帖子