开发者
下载

WriteGmByPassDCache(ISASI)

产品支持情况

产品

是否支持

Atlas 350 加速卡

Atlas A3 训练系列产品/Atlas A3 推理系列产品

Atlas A2 训练系列产品/Atlas A2 推理系列产品

Atlas 200I/500 A2 推理产品

x

Atlas 推理系列产品AI Core

x

Atlas 推理系列产品Vector Core

x

Atlas 训练系列产品

x

功能说明

不经过DCache向GM地址上写数据。

当多核操作GM地址时,如果数据无法对齐到Cache Line,经过DCache的方式下,由于按照Cache Line大小进行读写,会导致多核数据随机覆盖的问题。此时,可以采用不经过DCache直接读写GM地址的方式,从而避免上述随机覆盖的问题。

由于WriteGmByPassDCache接口向GM写数据时不经过DCache,因此开发者需要考虑如下场景:

  • 当GM上地址addr已经在DCache缓存并且其对应的Cache Line标记为“脏”(dirty,表示该数据已被修改但尚未写回到GM)时,开发者应该在WriteGmByPassDCache接口之前调用DataCacheCleanAndInvalid接口将addr对应的Cache Line立即写回GM,否则WriteGmByPassDCache接口写入addr的数据后续可能被DCache写回的脏数据覆盖。
  • DataCacheCleanAndInvalid接口与WriteGmByPassDCache接口向GM写数据时硬件不能保证两个接口的执行顺序,因此开发者应该在WriteGmByPassDCache接口之前调用DataSyncBarrier接口对这两个接口进行同步,否则WriteGmByPassDCache接口写入addr的数据依然可能被DCache写回的脏数据覆盖。

根据以上的描述,为了简化编程(开发者无需关心addr是否在DCache缓存以及是否被标记为“脏”),建议开发者在使用WriteGmByPassDCache接口时采用如下代码片段:

AscendC::GlobalTensor<T> global; // global为addr对应的GlobalTensor AscendC::DataCacheCleanAndInvalid<T, AscendC::CacheLine::SINGLE_CACHE_LINE, AscendC::DcciDst::CACHELINE_OUT>(global); 
// 保证WriteGmByPassDCache接口向addr写入value之前,DCache中的脏数据已经写回GM。 AscendC::DataSyncBarrier<AscendC::MemDsbT::DDR>(); 
AscendC::WriteGmByPassDCache<T>(addr, value);

函数原型

1
2
template <typename T>
__aicore__ inline void WriteGmByPassDCache(__gm__ T* addr, T value)

参数说明

表1 模板参数说明

参数名

描述

T

操作数的数据类型。

Atlas 350 加速卡,支持的数据类型为:int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t。

Atlas A3 训练系列产品/Atlas A3 推理系列产品,支持的数据类型为:int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t。

Atlas A2 训练系列产品/Atlas A2 推理系列产品,支持的数据类型为:int8_t、uint8_t、int16_t、uint16_t、int32_t、uint32_t、int64_t、uint64_t。

表2 接口参数说明

参数名

输入/输出

含义

addr

输入

目标GM地址。

value

输入

待写入目标数据。

返回值说明

约束说明

调用示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
if (blockIdx == 0) {
    // 先写入被依赖数据,再通过DataSyncBarrier等待DDR访问完成。
    AscendC::WriteGmByPassDCache<T>(reinterpret_cast<__gm__ T *>(srcGm) + 1, DATA_VALUE);
    // DataSyncBarrier<DDR>阻塞后续GM写,确保上一条GM写对其他核可见。
    AscendC::DataSyncBarrier<AscendC::MemDsbT::DDR>();
    // 最后写入同步标记,block 1读到该标记后即可安全读取srcGm[1]。
    AscendC::WriteGmByPassDCache<T>(reinterpret_cast<__gm__ T *>(srcGm), SYNC_FLAG);
}

if (blockIdx == 1) {
    while (true) {
        __gm__ T *addr = const_cast<__gm__ T *>(srcGlobal.GetPhyAddr());
        // 轮询GM第0个元素,等待block 0写入同步标记。
        T flagValue = AscendC::ReadGmByPassDCache<T>(addr);
        if (flagValue == SYNC_FLAG) {
            // DataSyncBarrier保证同步标记之前的srcGm[1]写入已完成。
            T dataValue = AscendC::ReadGmByPassDCache<T>(addr + 1);
            AscendC::WriteGmByPassDCache<T>(reinterpret_cast<__gm__ T *>(dstGm), 2 * dataValue);
            return;
        }
    }
}

更多示例请参考DataSyncBarrier样例