我们原来用ollama部署的模型,通过modelfile将system prompt和参数都预先设置好,这样客户端调用chat接口的时候,就不需要手工输入这些参数。现在准备移植到mindie遇到些问题,想请各位大佬看看:
1)system prompt可以通过请求体的message来设置,这个ok。但是是否可以通过配置的方法预先设置好呢?以后就不需要每次写了。
1)从mindie的文档看,有部分参数如:num_ctx可以对应服务端的maxSeqLen, num_predict可以对应请求端的max_tokens,其他的参数如mirostat_tau,num_keep,好像就找不到对应的了。请问这些参数是否可以设置呢(mirostat_tau,repeat_last_n,num_keep)。
2)num_predict我理解可以对应请求端的max_tokens,但是在服务端mindie还有一个参数maxInputTokenLength,这个参数如何理解了?
我们原来用ollama部署的模型,通过modelfile将system prompt和参数都预先设置好,这样客户端调用chat接口的时候,就不需要手工输入这些参数。现在准备移植到mindie遇到些问题,想请各位大佬看看:
1)system prompt可以通过请求体的message来设置,这个ok。但是是否可以通过配置的方法预先设置好呢?以后就不需要每次写了。
1)从mindie的文档看,有部分参数如:num_ctx可以对应服务端的maxSeqLen, num_predict可以对应请求端的max_tokens,其他的参数如mirostat_tau,num_keep,好像就找不到对应的了。请问这些参数是否可以设置呢(mirostat_tau,repeat_last_n,num_keep)。
2)num_predict我理解可以对应请求端的max_tokens,但是在服务端mindie还有一个参数maxInputTokenLength,这个参数如何理解了?