为了提高数据访问的效率和吞吐量,Unified Buffer采用了bank(大小相等的内存模块)结构设计。Unified Buffer总大小为256K,划分为16个bank。每个bank由512行组成,每行长度为32B。这16个bank进一步组织为8个bank group,每个bank group包含2个bank,例如bank7和bank15组成一个bank group。
图 1 bank结构示意图(图中箭头方向表示内存排布的顺序)[object Object][object Object]
每个bank可以独立地进行数据的读写操作,允许多个数据请求同时进行。然而,当多个读写操作试图同时访问同一个bank,由于硬件资源的限制,这些操作必须排队等待,会导致bank冲突,引起性能下降。
具体来说,Vector计算单元每拍(一个指令周期)能够从每个bank group中读取或写入一行数据。当多个读写操作试图同时访问同一个bank,Vector计算单元无法在同一个周期内处理所有请求,导致这些请求排队等待。这种排队增加了数据访问的延迟,降低了系统的整体性能。
bank冲突主要可以分为以下三种场景:
- 读写冲突:读操作和写操作同时尝试访问同一个bank。
- 写写冲突:多个写操作同时尝试访问同一个bank group。
- 读读冲突:两个读操作同时尝试访问同一个bank,或者两个以上读操作同时尝试访问同一个bank group。
下文给出了一些具体的示例,假设,0x10000地址在bank0上,0x10020在bank1上,如下图所示:
图 2 地址分配示意图[object Object][object Object]
读写冲突示例
Vector指令的源操作数src和目的操作数dst同时读写到同一个bank时造成读写冲突,具体分析如下:
表 1 读写冲突示例
[object Object][object Object]
[object Object]写写冲突示例
Vector指令目的操作数dst对应的8个DataBlock(block0-block7)同时写到一个bank group时造成写写冲突,具体分析如下:
表 2 写写冲突示例
[object Object][object Object]
[object Object]读读冲突
Vector指令两个源操作数同时读到同一个bank时造成读读冲突,具体分析如下:
表 3 双src场景读读冲突示例
[object Object][object Object]
[object Object]Vector指令某一个源操作数对应的8个DataBlock(block0-block7)读到同一个bank时造成读读冲突,具体分析如下:
表 4 单src场景读读冲突示例
[object Object][object Object]
[object Object]
避免bank冲突的方法有两种:优化计算逻辑和优化地址分配。
优化计算逻辑
对一个数据类型为float,shape为(16, 64)的输入每个元素加1。通过将计算逻辑由逐列计算改为逐行计算可避免同一Repeat下的冲突问题,实现方案对比如下:
[object Object][object Object]
[object Object]优化地址分配
实现连续4096个float元素的加法z = x + y,通过在内存分配时适当扩大内存,保证在一个Repeat内,x/y和z不会同时出现同一个bank内。
实现方案对比如下:
[object Object][object Object]
[object Object]