MindIE Client接口调用（Python）
本章节以调用Triton的流式推理接口为例介绍接口调用，参数解释以及其他接口的调用方法详情请参见API参考（Python）和样例代码章节。
导入MindIEClient的MindIEHTTPClient类 |
from mindieclient.python.httpclient import MindIEHTTPClient |
|---|---|
实例化MindIEHTTPClient类 |
mindie_client = MindIEHTTPClient(
url=url,
verbose=verbose,
enable_ssl=True,
ssl_options=ssl_options,
concurrency=request_count,
management_url= management_url
)
|
调用推理接口 |
results = mindie_client.generate_stream(
model_name,
prompt,
request_id="1",
parameters=parameters
)
|
处理推理结果 |
generated_text = ""
for cur_res in results:
if cur_res == "</s>":
break
generated_text += cur_res
print("cur text: %s" % cur_res)
print("final generated text: %s" % generated_text)
|
父主题： 快速入门