产品支持情况
产品
|
是否支持
|
|---|
Atlas 800I A2 推理产品/A200I A2 Box 异构组件
|
√
|
Atlas A2 训练系列产品
|
x
|
Atlas 200I/500 A2 推理产品
|
x
|
Atlas 推理系列产品
|
x
|
Atlas 训练系列产品
|
x
|
函数原型
| run_model(kv_cache: KvCache, input_tensors: Any, **kwargs)
|
参数说明
参数名称
|
数据类型
|
取值说明
|
|---|
kv_cache
|
KvCache
|
KvCache。
|
input_tensors
|
Any
|
输入，由LLMModel.predict接口传入。
|
kwargs
|
Optional[Dict]
|
可选参数，由LLMModel.predict接口传入。
|