功能
遍历每个key和value,将key和value(num_heads, head_size)以slotmapping填入key_cache/value_cache指定位置。
图1
ReshapeAndCacheOperation功能示意图
父主题:
ReshapeAndCacheOperation