SoftmaxFlashV2应该如何调用来处理尾数
收藏回复举报
SoftmaxFlashV2应该如何调用来处理尾数
t('forum.solved') 已解决
发表于2024-06-24 15:20:00
0 查看

假如我有一个local tensor维度为[128,256],每行只有一个有效数据,其他数据为0。

我该如何配置SoftmaxFlashV2的入参从而对这个tensor求softmax flash呢?在SoftmaxFlashV2的接口接口里没看见指定输入数据有效数据个数的入参。

我要发帖子