Token计算接口

接口功能

将文本转换为token。

接口格式

操作类型：POST

URL：https://{ip}:{port}/v1/tokenizer

• {ip}优先取启动命令参数中的{predict_ip}；如果没有配置该命令行参数，则取配置文件ms_coordinator.json的“predict_ip”参数。
• {port}优先取启动命令参数中的{predict_port}；如果没有配置该命令行参数，则取配置文件ms_coordinator.json的“predict_port”参数。

请求参数

使用样例

请求样例：

POST https://{ip}:{port}/v1/tokenizer

请求消息体：

{
    "inputs": "what is your name?"
}

响应样例：

{
    "token_number": 6,
    "tokens": ["what", "is", "your", "name", "?"]
}

输出说明