将文本转换为token。

操作类型：POST

URL：https://{ip}:{port}/v1/tokenizer

{ip}优先取启动命令参数中的{predict_ip}；如果没有配置该命令行参数，则取配置文件ms_coordinator.json的“predict_ip”参数。
{port}优先取启动命令参数中的{predict_port}；如果没有配置该命令行参数，则取配置文件ms_coordinator.json的“predict_port”参数。

参数	取值要求	说明
inputs	string	必填。输入文本。

参数

取值要求

说明

inputs

string

必填。

输入文本。

请求样例：

POST https://{ip}:{port}/v1/tokenizer

请求消息体：

{
    "inputs": "what is your name?"
}

响应样例：

{
    "token_number": 6,
    "tokens": ["what", "is", "your", "name", "?"]
}

参数	类型	说明
token_number	size_t	文本转换为token的个数。
tokens	string[]	每个token的值。

Token计算接口