ChatGPT的推出意味着交互式人工智能逐渐成为商业化成熟产品，同时也进一步推动了底层技术大型语言模型LLM的研究和进步。现有主要使用的LLM包括GPT系列、LLAMA系列、GLM系列。其模型基础架构都采用Transformer架构，并以Decode-Only为主。该类Transformer-Based-Decode-Only的LLM在推理预测时，采用自回归生成（auto-regressive generation，AR）模式。即每个token生成需要经过LLM模型的前向推理过程，即完成N次Transformer Layer计算，意味着包含M个token的语句完整生成需要经过M次完整LLM前向
