应用场景

同步推理模式下，客户端发送一个请求给服务端（如：MindIE Server），然后等待服务端完成推理处理并返回结果后，才继续执行下一步操作，在此期间，客户端处于等待状态，其对应的接口请参见def infer(self, model_name, inputs, model_version, outputs, request_id, parameters)。

异步推理模式下，客户端发送请求给服务端后，不需要等待响应，可以继续执行其他任务。服务端完成推理后，通过回调、通知或者其他方式告知客户端推理结果，其对应的接口请参见def async_infer(self, model_name, inputs, model_version, outputs, request_id, parameters)。

全量文本推理模式下，输入的是prompt（文本），推理结果输出的内容格式也是文本，一次性返回全部响应内容，其对应的接口请参见def generate(self, model_name, prompt, model_version, request_id, parameters)。

流式文本推理模式下，输入的是prompt（文本），推理结果按流式返回，每次返回的是单个字符，其对应的接口请参见def generate_stream(self, model_name, prompt, model_version, request_id, parameters)。