开发者
资源
[object Object][object Object][object Object]undefined
[object Object]
  • 接口功能:

    计算Sinkhorn距离,可以用于MoE模型中的专家路由。

  • 计算公式:

    p=Sinkhorn(cost,tol)p=Sinkhorn(cost, tol)

    输入

    cost(R, C): 2维成本矩阵

    tol: 误差

    初始化:

    cost=exp(cost)d0=ones(R)d1=ones(C)eps=0.00000001error=1e9d1_old=d1cost = exp(cost) \\ d0 = ones(R) \\ d1 = ones(C) \\ eps = 0.00000001 \\ error = 1e9 \\ d1\_old= d1 \\

    重复执行:

    d0=1R(sum(d1cost,1)+eps)d1=1C(sum(d0.unsqueeze(1)cost,0)+eps)error=mean(abs(d1_oldd1))d1_old=d1d0 = \frac{1}{R * (sum(d1 * cost, 1) + eps)} \\ d1 = \frac{1}{C * (sum(d0.unsqueeze(1) * cost, 0) + eps)} \\ error = mean(abs(d1\_old - d1)) \\ d1\_old = d1

    直至:

    error<=tolerror <= tol

    输出:

    p=d1costd0.unsqueeze(1)p = d1 * cost * d0.unsqueeze(1)
[object Object]

每个算子分为,必须先调用“aclnnSinkhornGetWorkspaceSize”接口获取入参并根据计算流程计算所需workspace大小,再调用“aclnnSinkhorn”接口执行计算。

[object Object]
[object Object]