MindIE Client接口调用（Python）

本章节以调用Triton的流式推理接口为例介绍接口调用，参数解释以及其他接口的调用方法详情请参见API参考（Python）和样例代码章节。

导入MindIEClient的MindIEHTTPClient类

from mindieclient.python.httpclient import MindIEHTTPClient

实例化MindIEHTTPClient类

mindie_client = MindIEHTTPClient(
           url=url,
           verbose=verbose,
           enable_ssl=True,
           ssl_options=ssl_options,
           concurrency=request_count,
           management_url= management_url
           )

调用推理接口

results = mindie_client.generate_stream(
        model_name,
        prompt,
        request_id="1",
        parameters=parameters
)

处理推理结果

generated_text = ""
for cur_res in results:
    if cur_res == "</s>":
        break
    generated_text += cur_res
    print("cur text: %s" % cur_res)
print("final generated text: %s" % generated_text)

父主题： 快速入门