接口功能
计算token数量。
接口格式
操作类型：POST
URL：https://{ip}:{port}/v1/tokenizer
{ip}和{port}请使用业务面的IP地址和端口号，即“ipAddress”和“port”。
请求参数
参数 |
是否必选 |
说明 |
取值要求 |
|---|---|---|---|
inputs |
必选 |
待计算token数量的输入字符串。 |
字符串，取值范围[0, 4*1024*1024]。 |
使用样例
请求样例：
POST https://{ip}:{port}/v1/tokenizer
请求消息体：
{
"inputs": "xxxxxx"
}
响应样例：
{
"token_number": 1234,
"tokens": ["abc", "xyz", ...]
}
输出说明
返回值 |
类型 |
说明 |
|---|---|---|
token_number |
int |
token的数量。 |
tokens |
字符串数组 |
解析出来的token列表，如果一个中文由多个token组成，这里会将多个token合并成一个中文展示。因此，这个数组的数量可能比token_number的值小。 |