术语&缩略语

batch

• 单样本推理： 如果每次推理只传入一个样本，这种方式称为单样本推理（单独处理输入）。

  示例：输入一张图片或一个句子，让模型预测结果。

• 批量推理： 如果一次传入多个样本组成的批量（batch），模型会同时对多个样本进行推理。

  示例：输入 32 张图片或 32 个句子，让模型并行预测所有结果。

prof/profiling

测量算子的执行细节，包括调用栈，调用时间等，使用msprof采集，用于性能分析和调优。

tiling

大多数情况下，Local Memory的存储，无法完整的容纳算子的输入与输出，需要每次搬运一部分输入进行计算然后搬出，再搬运下一部分输入进行计算，直到得到完整的最终结果，这个数据切分、分块计算的过程称之为tiling。

算子

算子是一种逻辑运行单元。机器学习服务将各种数据加载、数据预处理、机器学习算法等处理逻辑封装成不同的逻辑运行单元，以便灵活调度。 算子也可称为执行算子，是流计算系统中可被调度执行计算任务的最小单元。