输入输出

x

[dim_0, dim_1, ..., dim_n]

float/bf16

ND

输入

output

[dim_0, dim_1, ..., dim_n]

float/bf16

ND

输出

和输入维度/类型/格式相同。

x

[dim_0, dim_1, ..., dim_n]

float16/bf16

ND

输入

output

[dim_0, dim_1, ..., dim_n]

float16/bf16

ND

输出

和输入维度/类型/格式相同。

x

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND

输入

output

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND

输出

和输入维度/类型/格式相同。

x

[dim_0, dim_1, ..., dim_n]

float16/bf16

ND

输入

output

[dim_0, dim_1, ..., dim_n]

float16/bf16

ND

输出

和输入维度/类型/格式相同。

Atlas 200I/500 A2 推理产品上仅支持float16数据类型。

x

[dim_0, dim_1, ..., dim_n]

float16/bf16

ND

输入

output

[dim_0, dim_1, ..., dim_n]

float16/bf16

ND

输出

和输入维度/类型/格式相同。

x

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND/NZ

输入

output

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND/NZ

输出

和输入维度/类型/格式相同。

x

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND/NZ

输入

当“activationType”为ACTIVATION_SWIGLU_FORWARD时：对于Atlas 推理系列产品，最后一维需为32的倍数。

output

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND/NZ

输出

和输入维度/类型/格式相同，其dim维所对应的大小是输入的一半。

x1

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND

当“activationType”为ACTIVATION_SWIGLU_BACKWARD时，不支持Atlas 推理系列产品。

x2

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND

输入

和x1的维度/类型/格式相同，其dim维所对应的大小是输入x1的2倍。

output

[dim_0, dim_1, ..., dim_n]

float16/float/bf16

ND

输出

和x1的维度/类型/格式相同，其dim维所对应的大小是输入x1的2倍。

input

[dim_0, dim_1, ..., dim_n]

float/float16/bf16

ND / NZ

输入tensor。

output

[dim_0, dim_1, ..., dim_n]

float/float16/bf16

ND / NZ

输出tensor。维度、数据类型、数据格式与输入tensor一致。