计算token数量接口
接口功能
计算token数量。
接口格式
操作类型：POST
URL：https://{ip}:{port}/v1/tokenizer
{ip}和{port}请使用业务面的IP地址和端口号，即“ipAddress”和“port”。
请求参数
参数 |
类型 |
说明 |
|---|---|---|
inputs |
string |
待计算token数量的输入字符串。 |
使用样例
请求样例：
POST https://{ip}:{port}/v1/tokenizer
请求消息体：
{
"inputs": "xxxxxx"
}
响应样例：
{
"token_number": 1234,
"tokens": ["abc", "xyz", ...]
}
输出说明
参数 |
是否必选 |
类型 |
描述 |
|---|---|---|---|
token_number |
必选 |
int |
token的数量。 |
tokens |
必选 |
字符串数组 |
解析出来的token列表，如果一个中文由多个token组成，这里会将多个token合并成一个中文展示。因此，这个数组的数量可能比token_number的值小。 |
父主题： PD分离相关接口