内存复制函数,根据MemoryData中指定的内存位置在Host侧和Device侧之间进行复制。
GELU是神经网络中一种常见的激活函数,全称为“Gaussian Error Linear Unit”,是RELU的一种平滑版本, 具体可以参考论文解释。Tensorflow中GELU对应的实现接口为tf.nn.gelu和tf.keras.activations.gelu,部分网络如BERT中也会使用自定义的GELU实现.。使用近似的实现(如将tf.nn.gelu的approximate参数设置为