在具有上亿级别参数的大模型推理的过程中，由于模型的权重过大或者是输入数据过大导致无法加载到一张卡上或一台机器上，此时就需要将推理计算任务分布到多张卡或多个计算机上，当前常用的分布式并行策略有数据并行（Data Parallelism），张量并行（Tensor Parallelism，TP），流水线并行（Pipeline Parallelism）等。当前大模型主要以transformers及其变体作
