算子上下文

在transformer模型中，矩阵乘被大量使用，其中，将query、key、value分别和权重进行矩阵乘是最典型的使用场景，下图为linear在模型中的位置示意。