---
title: 基本概念
description: "**表1 基本概念**"
url: https://www.hiascend.com/document/detail/zh/canncommercial/latest/API/hixlug/llmcdv2_42_32.html
sourcePath: /source/zh/canncommercial/900/API/hixlug/llmcdv2_42_32.html
indexId: fb97de6c8f795d97181a0718c07a7ec88c5f98304f9ec6ffb402c38a7581b72b59
---
# 基本概念


**表1 基本概念**

| 概念 | 含义 |
| --- | --- |
| Prefill阶段 | 也叫Prompt或者全量推理阶段，是对用户传入的输入第一次进行推理的阶段。该阶段的输入是用户传入的完整长度的语句。 |
| Decode阶段 | 也叫增量推理阶段，基于Prefill阶段的输出进行迭代推理的阶段。由于该阶段每次迭代的输入都是上一次推理的输出，所以叫做增量推理。 |
| PD分离 | 也就是Prefill阶段和Decode阶段分离执行。 |
| KV Cache | KV Cache其实是在大语言模型中使用的一种技术，用于缓存已经计算过的Key和Value，避免在每一步生成过程中重复计算整个上下文。本文代指计算完的Key和Value缓存。 |
| PagedAttention | 简称PA。是一种使用离散block的方式管理请求KV Cache的功能，相比未使用此功能的框架而言，能够达到节省KV Cache内存占用大小的效果。 |
| block\_table | 在PA场景下，表示请求KV Cache占用的block index的集合。 |
| 请求 | 可以理解为用户提的问题，该问题经过Prefill和Decode阶段会有对应的回答，我们称这个过程为一次请求。 |
| role | 表示LLM\-DataDist代表的业务角色。业务角色分为Prefill和Decoder两种。 |
| cluster\_id | 表示LLM\-DataDist所在的集群标识。主要用于Decode侧通过cluster\_id找到对应链路，从而找到Prefill侧缓存的对应请求的KV Cache。对于一个模型的不同切分部署到不同Device的场景，当前在支持PD对等切分场景下，cluster\_id在不同切分模型间设置为相同。 |
| 集群动态扩缩容 | 根据业务闲忙，动态的调整集群的数量以及PD集群的配比，从而达到闲时节省资源，忙时提高吞吐的目的。 |
| D2D传输 | 指数据从Device设备往Device设备传输。 |
| D2H传输 | 指数据从Device设备往Host设备传输。 |
| H2D传输 | 指数据从Host设备往Device设备传输。 |
| D2RH | 指数据从Device设备往远端Host设备传输。 |
| RH2D | 指数据从远端Host设备往Device设备传输。 |
| TTFT | Time To First Token LLM推理的一个指标。指从输入到输出第一个token的延迟。 即当一批用户进入到推理系统之后，用户完成Prefill阶段的过程需要花费的时间。这也是系统生成第一个字符所需的响应时间。 |
| TBT | Time Between Tokens token间时延，指的是每一个decoding所需要的时长。它反映的是大语言模型系统在线上处理的过程中，每生成一个字符的间隔是多长时间，也就是生成的过程有多么流畅。 |
| Continuous Batching | 连续批处理技术，是一种在大模型推理中优化计算效率的方法。它通过将多个推理请求组合成一个批次进行处理，从而充分利用计算资源，提高推理速度和吞吐量。这种技术的核心思想在于减少计算过程中的空闲时间，实现计算资源的最大化利用。 |
| 单边建链 | Client向Server发起建链。 |
| 双边建链 | 所有LLM\-DataDist可以同时发起建链。 |