RopeOperation

旋转位置编码处理。

hiddenSizeQ必须是hiddenSizeK的整数倍且满足hiddenSizeQ = headDim * headNum。

struct RopeParam {
    int32_t rotaryCoeff = 4;
};

成员名称	描述
rotaryCoeff	rope，旋转系数，对半旋转是2，支持配置2、4或headDim / 2。

参数	维度	数据类型	格式
q	[ntokens, hiddenSizeQ]	float16	ND
k	[ntokens, hiddenSizeK]	float16	ND
cos	[ntokens, headDim] / [ntokens, headDim / 2]	float16	ND 当cos的第二个维度与参数rotaryCoeff相等时，其值为headDim/2。当cos的第二个维度与参数rotaryCoeff不相等时，其值为headDim。
sin	[ntokens, headDim] / [ntokens, headDim/ 2]	float16	ND 当sin的第二个维度与参数rotaryCoeff相等时，其值为headDim/2。当sin的第二个维度与参数rotaryCoeff不相等时，其值为headDim。
seqLen	[batch]	uint32/int32	ND

参数	维度	数据类型	格式
ropeQ	[ntokens, hiddenSizeQ]	float16	ND
ropeK	[ntokens, hiddenSizeK]	float16	ND

父主题： atb/infer_op_params.h