LLMException

调用LLMDataDist各接口,异常场景可能抛出LLMException异常。当前该类下只有一个接口status_code。

产品支持情况

产品

是否支持

Atlas 800I A2 推理产品/A200I A2 Box 异构组件

Atlas A2 训练系列产品

x

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品

x

Atlas 训练系列产品

x

函数功能

获取异常的错误码。错误码列表详见LLMStatusCode

函数原型

1
status_code()

参数说明

调用示例

1
2
3
4
5
6
7
from llm_datadist import *
...
cache_keys = [CacheKey(1, req_id=1), CacheKey(1, req_id=2)]
try:
    kv_cache_manager.pull_cache(cache_keys[0], cache, 0)
except LLMException as exe:
    print(exe.status_code)

返回值

返回错误码。

约束说明