术语&缩略语

LLM

Large Language Model，大语言模型。

TGI

Text Generation Inference，文本生成推理。是一个用于部署和服务大型语言模型的工具包。TGI为最流行的开源LLM提供高性能文本生成，包括LLaMA、Falcon、Starcoder、Bloom、GPT-NeoX等。

vLLM

vLLM是一个开源的大模型推理加速框架。

Triton

Triton是一个开源的推理服务软件，全称为Triton Inference Server。通过Triton，您可以在基于GPU或CPU的各种基础架构（云、数据中心或边缘）上部署、运行和扩展来自任何框架的AI模型。

ContinuousBatching（CB）

连续批处理（ContinuousBatching），也称为动态批处理或基于迭代级的批处理，是一种针对提升LLM迭代推理性能的优化手段，可以减少调度空泡，提升业务吞吐。

PagedAttention（PA）

自回归过程中缓存的K和V张量非常大，PagedAttention灵感来自于操作系统中虚拟内存和分页的经典思想，它可以允许在非连续空间里存储连续的KV张量。

Daemon

Daemon（守护进程）是运行在后台的一种特殊进程。它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件。它不需要用户输入就能运行，同时提供某种服务，不仅对整个系统，还可以对某个用户程序提供服务。

Backend

模型执行器，推理服务化框架后端对接模型推理层模块。

HDK

Hardware Developer Kit，硬件开发工具包。

ATB

Ascend Transformer Boost加速库，基于Transformer的神经网络推理加速引擎库。

ATB Models

基于ATB框架开发的模型。

MoE

Mixture of Experts（MoE）。

W8A8

一种量化方式：权重和激活值同时量化为Int8。

W8A16

一种量化方式：对激活值不做量化，仅将权重量化为8 bit。

W8A8SC

一种量化方式：对模型权重进行稀疏、量化和压缩。

KV Cache int8

一种量化方式：将k cache和v cache量化为8 bit。

Anti-Outlier

量化过程中的离群值处理。

MindFormers

MindFormers是基于MindSpore框架的大模型全流程套件，支持大模型训练、微调、评估、推理和部署。

NUMA

NUMA（Non Uniform Memory Access Architecture） 模式是一种分布式存储器访问方式，处理器可以同时访问不同的存储器地址，大幅度提高并行性。

NUMA模式下，处理器被划分成多个"节点"（node）, 每个节点分配一块本地存储器空间。所有节点中的处理器都可以访问全部的物理存储器，但是访问本节点内的存储器所需要的时间，比访问某些远程节点内的存储器所花的时间要少得多。