基本概念

ATB高性能加速库

Ascend Transformer Boost，以下简称加速库，为了发挥昇腾设备的最大性能，昇腾提供了面向Transformer模型的ATB高性能加速库，提高Transformer模型性能。Ascend Transformer Boost提供了基础的高性能的算子，或一种高效的算子组合技术（Graph），方便各类模型推理框架加速。

大语言模型

Large Language Model，简称LLM，也称大型语言模型，是一种人工智能模型，旨在理解和生成人类语言。

Encoder-Only

大模型结构，也可称为Auto-encoding model，仅使用Transformer模型的Encoder部分，每阶段的注意力层可以访问初始句子中的所有单词。

Decoder-Only

大模型结构，也可称为Auto-regressive model，仅使用Transformer模型的Decoder部分，每阶段的注意力层只能访问位于给定单词之前的单词。

Encoder-Decoder

大模型结构，也可称为Sequence-to-sequence model，同时使用Transformer模型的Encoder和Decoder两个部分，Encoder的注意力层可以访问初始句子中的所有单词，Decoder的注意力层只能访问位于给定单词之前的单词。