mindie的服务化接口应该如何推理llama3
收藏回复举报
mindie的服务化接口应该如何推理llama3
t('forum.solved') 已解决
发表于2024-09-02 17:30:22
0 查看
启动了mindie服务化之后,使用该命令

curl -H "Accept: application/json" -H "Content-type: application/json"  -X POST -d '{

    "model": "llama",

    "messages": [

    {"role": "system", "content": "You are a helpful assistant."},

    {"role": "user", "content": "你是谁?"}],

    "max_tokens": 512, "presence_penalty": 1.03, "frequency_penalty": 1.0, "seed": null, "temperature": 0.5, "top_p": 0.95, "stream": false

}' http://127.0.0.1:1205/v1/chat/completions

后输出的结果一直都是生成,而不是对话,llama模型需要传入的输入应该是什么样的结构呢

我要发帖子